[论文解读] Capsule Neural Networks for Graph Classification using Explicit Tensorial Graph Representations

Marcelo Daniel Gutierrez Mallea, Peter C. Meltzer+1 more|arXiv (Cornell University)|Feb 22, 2019

Advanced Graph Neural Networks参考文献 22被引用 20

一句话总结

该论文提出了一种用于图分类的胶囊神经网络模型，通过使用具有分类节点特征的无向图显式张量表示。通过利用介数中心性进行节点排序，并采用胶囊网络架构以实现排列不变性，该方法在MUTAG和PTC数据集上实现了最先进性能，优于卷积神经网络（CNNs），且与最先进图核方法及图神经网络（GNNs）相当，尽管超参数调优有限。

ABSTRACT

Graph classification is a significant problem in many scientific domains. It addresses tasks such as the classification of proteins and chemical compounds into categories according to their functions, or chemical and structural properties. In a supervised setting, this problem can be framed as learning the structure, features and relationships between features within a set of labelled graphs and being able to correctly predict the labels or categories of unseen graphs. A significant difficulty in this task arises when attempting to apply established classification algorithms due to the requirement for fixed size matrix or tensor representations of the graphs which may vary greatly in their numbers of nodes and edges. Building on prior work combining explicit tensor representations with a standard image-based classifier, we propose a model to perform graph classification by extracting fixed size tensorial information from each graph in a given set, and using a Capsule Network to perform classification. The graphs we consider here are undirected and with categorical features on the nodes. Using standard benchmarking chemical and protein datasets, we demonstrate that our graph Capsule Network classification model using an explicit tensorial representation of the graphs is competitive with current state of the art graph kernels and graph neural network models despite only limited hyper-parameter searching.

研究动机与目标

• 解决在监督设置下对具有可变大小和节点数量的图进行分类的挑战。
• 通过利用胶囊网络的动态路由机制，提升图分类中的排列不变性。
• 评估基于图结构导出的不同节点标记策略下显式张量表示的有效性。
• 在标准化学和蛋白质数据集上，将所提模型与最先进图核方法及图神经网络进行基准对比。
• 探究胶囊网络是否能够学习到比卷积神经网络（CNNs）更鲁棒且解耦的图表示。

提出的方法

• 该方法采用基于图像块的策略，从每张图中提取固定大小的张量表示，其中节点通过介数中心性或NAUTY规范标记进行排序。
• 每张图被划分为子图（图像块），节点特征通过可学习嵌入层编码为张量。
• 胶囊网络处理张量表示，主胶囊捕捉空间关系，路由一致性机制实现等变特征学习。
• 主胶囊与图胶囊之间的动态路由确保注意力集中于相关结构模式，从而增强泛化能力。
• 最终胶囊层为每张图输出一个向量，通过Softmax层用于分类。
• 模型采用交叉熵损失进行端到端训练，配合早停法与权重衰减。

实验结果

研究问题

• RQ1 当应用于显式张量图表示时，胶囊网络能否有效学习到排列不变的图表示？
• RQ2 节点标记方法的选择（介数中心性 vs. NAUTY）如何影响基于胶囊网络的图分类器性能？
• RQ3 胶囊网络在节点和边数量变化的图分类任务中是否优于标准卷积神经网络（CNNs）？
• RQ4 在特征分离与聚类方面，该模型的表示能力与CNNs和图核方法相比如何？
• RQ5 在节点特征基数较高的数据集上，有限的超参数调优在多大程度上限制了模型性能？

主要发现

• 胶囊网络在全部七个基准数据集上均优于CNN基线模型，且在MUTAG和PTC数据集上具有统计显著性提升。
• 在七个数据集中的六个上，使用介数中心性进行节点排序的性能优于NAUTY规范标记。
• 该模型在MUTAG和PTC数据集上实现了最先进分类准确率，优于当前最先进图核方法与图神经网络。
• 尽管t-SNE图中CNN的中间表示具有更好的视觉聚类效果，但其分类准确性仍低于胶囊网络，表明胶囊路由有助于优化决策边界。
• 由于参数量更高且路由机制更复杂，胶囊网络的推理速度约为CNN的八分之一。
• 在高节点特征基数的数据集上，模型性能竞争力较弱，表明通过扩展超参数调优或采用混合标记策略仍有改进空间。