[论文解读] A Generalization of Convolutional Neural Networks to Graph-Structured Data

Yotam Hechtlinger, Purvasha Chakravarti+1 more|arXiv (Cornell University)|Apr 26, 2017

Computational Drug Discovery Methods参考文献 20被引用 76

一句话总结

本文将卷积神经网络（CNN）推广到图结构数据，采用基于随机游走的图卷积，实现跨不同图的权重共享与迁移；在 MNIST 与 Merck 数据集上展现了有竞争力的结果。

ABSTRACT

This paper introduces a generalization of Convolutional Neural Networks (CNNs) from low-dimensional grid data, such as images, to graph-structured data. We propose a novel spatial convolution utilizing a random walk to uncover the relations within the input, analogous to the way the standard convolution uses the spatial neighborhood of a pixel on the grid. The convolution has an intuitive interpretation, is efficient and scalable and can also be used on data with varying graph structure. Furthermore, this generalization can be applied to many standard regression or classification problems, by learning the the underlying graph. We empirically demonstrate the performance of the proposed CNN on MNIST, and challenge the state-of-the-art on Merck molecular activity data set.

研究动机与目标

• 通过利用局部连通性和平稳性特性，激励将 CNN 从网格数据扩展到图结构。
• 引入一种时空图卷积，使用随机游走选择近邻并共享权重。
• 展示图 CNN 在不同图结构下的可扩展性和可迁移性。
• 展示在 MNIST 和 Merck 分子活性数据上的经验性能，并与现有方法进行比较。

提出的方法

• 定义一种图卷积，使用每个节点通过随机游走的期望访问次数所选的前 p 个邻居，计算自转移矩阵 P。
• 使用 Q^(k) 的第 i 行（其中 Q^(k)=sum_{i=0}^k P^i）来对邻居排序，并在所有节点间应用带有共享权重的内积。
• 在图先验未知时，允许通过相似性/相关矩阵学习图结构。
• 将卷积实现为张量点积，以实现 GPU 加速和每层 O(N p) 的可扩展计算。
• 提供两个变体 Conv_1 和 Conv_2，Conv_1 侧重于邻居排序，Conv_2 结合带符号调整的项；经经验发现 Conv_1 就足够。

实验结果

研究问题

• RQ1 是否能够在不失去权重共享和局部性的前提下，将 CNN 有意义地推广到非网格的图数据？
• RQ2 如何定义一种可迁移、可扩展的图卷积，使其在不固定图的情况下适应不同的图结构？
• RQ3 使用学习或推断得到的图的图 CNN 在标准基准（如 MNIST、Merck 数据）上，是否与网格方法或谱方法相比具有竞争力？

主要发现

方法	架构	R^2
OLS Regression		0.135
Random Forest		0.232
Merck winner DNN		0.224
Spectral Networks	C _{64}-P 8 -C 64 -P 8 -FC 1000	0.204
Spectral Networks	C 16 -P 4 -C 16 -P 4 -FC 1000	0.277
(supervised graph)
Fully connected NN	FC 300 -FC 100	0.195
Graph CNN	C 10	0.246
Graph CNN	C 10 -FC 100	0.258
Graph CNN	C 10 -C 20 -FC 300	0.264

• 提出的图卷积实现每次前向传递的复杂度为可扩展的 O(N p) 浮点运算和内存需求，支持 GPU 实现。
• 通过 Q^(k) 的随机游走邻居选择实现了在图上的自然、可迁移且有效的卷积。
• 在 Merck DPP4 数据集上，带学习图结构的图 CNN 达到的 R^2 值与若干基线及最先进谱方法相当甚至超越。
• 在 MNIST 上，基于图的方法在使用网格状图时达到与常规 CNN 相当的性能，并且在参数显著更少的情况下远超一个完全连接的网络。
• 该方法表明学习图结构可以使标准回归/分类任务受益于图卷积。