[论文解读] Graph Capsule Convolutional Neural Networks

Saurabh Verma, Zhili Zhang|arXiv (Cornell University)|May 21, 2018

Advanced Graph Neural Networks参考文献 32被引用 95

一句话总结

本论文提出了图 Capsule-CNN（GCAPS-CNN），使用 capsule 基于输出和基于协方差的置换不变层来改进图分类，在多个基准数据集上达到最先进行业水平的结果。

ABSTRACT

Graph Convolutional Neural Networks (GCNNs) are the most recent exciting advancement in deep learning field and their applications are quickly spreading in multi-cross-domains including bioinformatics, chemoinformatics, social networks, natural language processing and computer vision. In this paper, we expose and tackle some of the basic weaknesses of a GCNN model with a capsule idea presented in \cite{hinton2011transforming} and propose our Graph Capsule Network (GCAPS-CNN) model. In addition, we design our GCAPS-CNN model to solve especially graph classification problem which current GCNN models find challenging. Through extensive experiments, we show that our proposed Graph Capsule Network can significantly outperforms both the existing state-of-art deep learning methods and graph kernels on graph classification benchmark datasets.

研究动机与目标

• 为图分类动机与解决标准 GCNN 的弱点。
• 引入图形 capsule，以捕捉比标量卷积更丰富的局部信息。
• 开发一种快速、可微分的基于协方差的置换不变层，其聚合不依赖于节点顺序。
• 在全局层面整合图结构特征，以充分利用整张图的特征。
• 在多个图分类数据集上展示优越的性能。

提出的方法

• 用向量值的 capsule 取代标量图卷积输出，编码更高阶信息。
• 使用统计矩或基于协方差的实例参数作为 capsule 输出。
• 通过基于协方差的不变层实现置换不变性，该层在聚合时不依赖于节点顺序。
• 在每一层中整合全局图特征，如 Fgsd 谱，以增强节点表征。
• 提供端到端的 GCAPS-CNN 架构，包含各层、不变池化和全连接分类器。
• 将与深度学习方法和标准图核在常见图分类基准上进行对比。

实验结果

研究问题

• RQ1 图形 capsule 能否保留或在标准 GCNN 聚合中丢失的信息？
• RQ2 基于协方差的置换不变层是否能在等同图之间实现可靠的图分类？
• RQ3 将全局图特征整合到 GCNN 中是否能提高分类性能？
• RQ4 GCAPS-CNN 与最先进的图核和深度图模型在基准数据集上的表现如何？

主要发现

数据集	PTC	PROTEINS	NCI1	NCI109	D & D	ENZYMES
Deep Learning Methods	56.60±2.89	61.29±1.60	56.61±1.04	57.47±1.22	58.09±0.53	42.44±1.76
P SCN 2016	62.29±5.68	75.00±2.51	76.34±1.68	—	—	—
ECC 2017	—	—	76.82	75.03	72.54	45.67
DGCNN 2018	58.59±2.47	75.54±0.94	74.44±0.47	75.03±1.72	79.37±0.94	51.00±7.29
GCAPS-CNN (ours)	66.01±5.91	76.40±4.17	82.72±2.38	81.12±1.28	77.62±4.99	61.83±5.39
Graph Kernels RW 2003	57.85±1.30	74.22±0.42	>1 Day	>1 Day	>1 Day	24.16±1.64
Graph Kernels SP 2005	58.24±2.44	75.07±0.54	73.00±0.24	73.00±0.21	>1 Day	40.10±1.50
Graph Kernels GK 2009	57.26±1.41	71.67±0.55	62.28±0.29	62.60±0.19	78.45±1.11	26.61±0.99
Graph Kernels WL 2011	57.97±0.49	74.68±0.49	82.19±0.18	82.46±0.24	79.78±0.36	52.22±1.26
Graph Kernels DGK 2015	60.08±2.55	75.68±0.54	80.31±0.46	80.32±0.33	73.50±1.01	53.43±0.91
Graph Kernels MLG 2016	63.26±1.48	76.34±0.72	81.75±0.24	81.31±0.22	78.18±2.56	61.81±0.99
GCAPS-CNN (kernels)	66.01±5.91	76.40±4.17	82.72±2.38	81.12±1.28	77.62±4.99	61.83±5.39

• GCAPS-CNN 在若干图分类基准上优于现有最先进的深度学习方法和图核。
• 所提出的基于协方差的不变层提供置换不变性并实现高效计算。
• 全局特征（如 Fgsd）通过包含整张图结构来提升性能。
• GCAPS-CNN 在 PROTEINS、NCI1、NCI109、ENZYMES 等多组数据集上取得最佳结果。
• 该模型在深度学习和基于核的方法基线上表现出竞争力甚至优越的准确性。
• 该体系结构保持端到端可微并可应用于不同的 GCNN 变体。