[论文解读] IsoNN: Isomorphic Neural Network for Graph Representation Learning and Classification

Lin Meng, Jiawei Zhang|arXiv (Cornell University)|Jul 22, 2019

Advanced Graph Neural Networks参考文献 36被引用 10

一句话总结

IsoNN 是一种新颖的图神经网络，通过使用置换矩阵将输入图与所学模板进行匹配，学习同构子图特征，从而消除节点顺序偏差。它通过显式保留子图结构，并利用最小池化和软max融合实现鲁棒且可解释的表征，在基准图分类数据集上达到最先进性能。

ABSTRACT

Deep learning models have achieved huge success in numerous fields, such as computer vision and natural language processing. However, unlike such fields, it is hard to apply traditional deep learning models on the graph data due to the 'node-orderless' property. Normally, adjacency matrices will cast an artificial and random node-order on the graphs, which renders the performance of deep models on graph classification tasks extremely erratic, and the representations learned by such models lack clear interpretability. To eliminate the unnecessary node-order constraint, we propose a novel model named Isomorphic Neural Network (IsoNN), which learns the graph representation by extracting its isomorphic features via the graph matching between input graph and templates. IsoNN has two main components: graph isomorphic feature extraction component and classification component. The graph isomorphic feature extraction component utilizes a set of subgraph templates as the kernel variables to learn the possible subgraph patterns existing in the input graph and then computes the isomorphic features. A set of permutation matrices is used in the component to break the node-order brought by the matrix representation. Three fully-connected layers are used as the classification component in IsoNN. Extensive experiments are conducted on benchmark datasets, the experimental results can demonstrate the effectiveness of ISONN, especially compared with both classic and state-of-the-art graph classification methods.

研究动机与目标

• 为解决图神经网络中节点顺序敏感性的问题，该问题会损害模型的鲁棒性和可解释性。
• 实现显式、可解释的子图特征提取，无需手动选择模式或进行高复杂度的子图枚举。
• 消除图学习中邻接矩阵表示所施加的人工节点排序约束。
• 开发一种高效、可扩展的方法，用于学习保留结构子图模式的图表征。
• 通过同构特征学习保持显式子结构信息，提升图分类性能。

提出的方法

• IsoNN 使用一组所学的子图模板作为核变量，从输入图中提取同构特征。
• 使用置换矩阵对模板与输入图之间的节点同构性进行建模，打破邻接矩阵表示带来的节点顺序约束。
• 最小池化层为每个模板识别最佳节点置换，选择最相似的子图模式。
• 软max层对所有模板的特征进行归一化和融合，生成统一、鲁棒的图表征。
• 分类组件由三个全连接层构成，用于从同构特征预测图标签。
• 提出两种高效变体 IsoNN-fast 及其优化版本，通过特征分解避免穷举置换搜索，显著加速计算。

实验结果

研究问题

• RQ1 通过模板匹配实现的同构特征学习是否能在保持可解释性的同时提升图分类性能？
• RQ2 通过置换矩阵消除节点顺序偏差，对图分类任务中的模型鲁棒性和性能有何影响？
• RQ3 核大小和通道数（模板数量）对模型准确率和泛化能力有何影响？
• RQ4 IsoNN 的计算效率与现有图神经网络相比如何，尤其是在更大子图上的表现？
• RQ5 显式学习子图模式是否能优于 GCN 和 GIN 等基于隐式聚合的方法，在捕捉图级结构信息方面表现更优？

主要发现

• IsoNN 在五个基准数据集（包括 MUTAG、PTC、HIV-fMRI、HIV-DTI 和 BP-fMRI）上均优于经典和最先进图分类方法。
• 最优核大小因数据集而异，其中 HIV-fMRI 在 k=2 时表现最佳，HIV-DTI 和 MUTAG 在 k=4 时表现最佳，BP-fMRI 在 k=3 时表现最佳。
• 通道数（模板数量）在一定范围内提升性能，最优值分别为：MUTAG（c=3）、PTC（c=2）、HIV-fMRI（c=1）、HIV-DTI（c=1）、BP-fMRI（c=2），表明超过特定复杂度后收益递减。
• 时间成本随核大小增加呈指数增长，因置换矩阵数量增加；而通道数增加仅导致线性时间增长。
• IsoNN-fast 通过用特征分解替代穷举置换搜索，在核大小 >4 时显著减少训练时间，验证了理论上的效率优势。
• 与 GCN 和 GIN 相比，IsoNN 在表征中显式保留了子图结构，避免了因特征聚合导致的图级子结构信息损失。