[论文解读] Learning Convolutional Neural Networks for Graphs

Mathias Niepert, Mohamed M. Ahmed+1 more|arXiv (Cornell University)|May 17, 2016

Advanced Graph Neural Networks被引用 816

一句话总结

Patchy-san 构建了一个框架，通过选择节点序列、提取并规范化固定大小的局部邻域，以及使用 CNN 进行学习，将卷积神经网络应用于任意图，达到与图核方法相竞争的结果，并具备可扩展的性能。

ABSTRACT

Numerous important problems can be framed as learning from graph data. We propose a framework for learning convolutional neural networks for arbitrary graphs. These graphs may be undirected, directed, and with both discrete and continuous node and edge attributes. Analogous to image-based convolutional networks that operate on locally connected regions of the input, we present a general approach to extracting locally connected regions from graphs. Using established benchmark data sets, we demonstrate that the learned feature representations are competitive with state of the art graph kernels and that their computation is highly efficient.

研究动机与目标

• 激励将 CNNs 应用于超越网格结构数据的广泛图类型。
• 开发一个框架（Patchy-san），在具有多样属性的图上创建局部的、固定大小的感受野。
• 使用 CNNs 端到端学习图表示，而无需手工设计的图核。
• 在基准数据集上展示效率并与最先进的图核方法相比具备竞争力的性能。

提出的方法

• 将 Patchy-san（Select-Assemble-Normalize）定义为处理没有固定节点对应关系的图。
• 使用图标注过程（如 Weisfeiler-Lehman）对节点进行排序并创建大小为 k 的规范化感受野。
• 通过邻域组装（使用 BFS，最多扩展到 k 个节点）构建感受野，并通过规范化的规范标记进行归一化，以映射到固定向量空间。
• 将补丁序列输入到 CNN 组件（卷积层和全连接层）以学习图表示。
• 给出理论结果：最优图规范化的 NP-hard性，以及在何种条件下 Patchy-san 能模拟网格上的标准 CNNs。
• 展示在图数量上的线性近似复杂性以及高效的补丁生成的可扩展性。

实验结果

研究问题

• RQ1 Patchy-san 是否能够在没有对齐的节点对应关系的情况下，对未见图进行分类和回归学习到具有判别性的图表示？
• RQ2 基于 CNN 的图表示在标准基准测试中的表现相比传统图核方法如何？
• RQ3 在补丁生成与规范化中的计算权衡是什么，以及标注选择如何影响性能？
• RQ4 Patchy-san 是否在保持理论联系的同时，将图像上的 CNN 泛化到任意图拓扑结构？

主要发现

• Patchy-san 在多个基准数据集上实现了与最先进的图核方法相竞争的准确度。
• 该方法随图的数量线性扩展，并且由于感受野计算可并行，且对大图仍然高效。
• 使用基于 1-WL 的归一化，感受野可以在网格图上模仿第一层 CNN， 在某些情况下建立理论等价。
• 在图分类的实验中，Patchy-san 的感受野大小约为 10 时往往在各数据集上达到最佳准确率。
• Patchy-san 支持节点属性和边属性，并且可以通过简单的预处理（如归一化的节点度）集成连续特征。
• 可视化实验显示通过在补丁上训练的 RBMs 学到的图模体，显示模型学习到的可解释局部结构。