[論文レビュー] A Generalization of Convolutional Neural Networks to Graph-Structured Data

Yotam Hechtlinger, Purvasha Chakravarti+1 more|arXiv (Cornell University)|Apr 26, 2017

Computational Drug Discovery Methods参考文献 20被引用数 76

ひとこと要約

この論文は、ランダムウォークベースのグラフ畳込みを用いてCNNをグラフ構造データへ一般化し、異なるグラフ間での重み共有と転移を可能にする。MNISTとMerckデータセットで競争力のある結果を示す。

ABSTRACT

This paper introduces a generalization of Convolutional Neural Networks (CNNs) from low-dimensional grid data, such as images, to graph-structured data. We propose a novel spatial convolution utilizing a random walk to uncover the relations within the input, analogous to the way the standard convolution uses the spatial neighborhood of a pixel on the grid. The convolution has an intuitive interpretation, is efficient and scalable and can also be used on data with varying graph structure. Furthermore, this generalization can be applied to many standard regression or classification problems, by learning the the underlying graph. We empirically demonstrate the performance of the proposed CNN on MNIST, and challenge the state-of-the-art on Merck molecular activity data set.

研究の動機と目的

• 局所的な結合性と定常性の性質を活用して、グリッドデータからグラフへCNNを拡張する動機づけ。
• 重みを共有したまま、ランダムウォークを用いて近傍を選択する空間的グラフ畳込みを導入する。
• さまざまなグラフ構造に跨るグラフCNNのスケーラビリティと転移性を示す。
• MNISTとMerck分子活性データにおける経験的性能を、既存法と比較して示す。

提案手法

• 遷移行列Pから計算されるランダムウォークの期待訪問数によって各ノードの上位p近傍を用いるグラフ畳込みを定義する。
• Q^(k) の i-番目の行（Q^(k)=sum_{i=0}^k P^i）を用いて近傍を並べ、全ノードに共通の重みで内積を適用する。
• グラフが事前に知られていない場合に、類似度/相関行列を介してグラフ構造の学習を許す。
• 畳み込みをテンソル点積として実装し、GPU加速と層あたりO(N p)のスケーラブルな計算を可能にする。
• Conv_1とConv_2の2つの変種を提供し、Conv_1は近傍の順序付けに焦点を当て、Conv_2は符号調整項を組み込む。経験的にはConv_1で十分であると分かった。

実験結果

リサーチクエスチョン

• RQ1 CNNをグリッド以外のグラフデータにも意味ある程度一般化でき、重み共有と局所性を保持できるか？
• RQ2 グラフを固定せず、異なるグラフ構造に適応する転移可能でスケーラブルなグラフ畳込みを定義するには？
• RQ3 学習または推定されたグラフを用いるグラフCNNは、標準ベンチマーク（例：MNIST、Merckデータ）で、グリッドベースやスペクトル法と比較して競争力のある性能を達成するか？

主な発見

方法	アーキテクチャ	R^2
OLS Regression		0.135
Random Forest		0.232
Merck winner DNN		0.224
Spectral Networks	C _{64}-P 8 -C 64 -P 8 -FC 1000	0.204
Spectral Networks	C 16 -P 4 -C 16 -P 4 -FC 1000	0.277
(supervised graph)
Fully connected NN	FC 300 -FC 100	0.195
Graph CNN	C 10	0.246
Graph CNN	C 10 -FC 100	0.258
Graph CNN	C 10 -C 20 -FC 300	0.264

• 提案されたグラフ畳込みは、前向き伝播ごとにスケーラブルなO(N p) FLOPsとメモリを達成し、GPU実装を可能にする。
• Q^(k)を用いたランダムウォークベースの近傍選択は、自然で転移可能かつグラフ上で効果的な畳込みを可能にする。
• Merck DPP4データセットでは、学習されたグラフ構造を持つGraph CNNが、いくつかのベースラインおよび最先端スペクトル法と競合するまたは上回るR^2値を達成。
• MNISTでは、グリッド状のグラフを用いた場合、グラフベースのアプローチは通常のCNNと同等の性能を達成し、多くのパラメータを要する全結合ネットワークを大幅に上回る。
• この手法は、グラフ構造を学習することで、標準の回帰/分類タスクがグラフ畳込みの恩恵を受け得ることを示している。