[論文レビュー] Residual Gated Graph ConvNets

Xavier Bresson, Thomas Laurent|arXiv (Cornell University)|Nov 20, 2017

Advanced Graph Neural Networks参考文献 25被引用数 246

ひとこと要約

この論文は、可変長グラフ上でグラフRNNとグラフConvNetsを厳密に比較し、残差ゲート付きグラフConvNetsを提案し、ConvNetsがRNNより精度と速度の両面で上回り、残差が追加の利益をもたらすことを示している。

ABSTRACT

Graph-structured data such as social networks, functional brain networks, gene regulatory networks, communications networks have brought the interest in generalizing deep learning techniques to graph domains. In this paper, we are interested to design neural networks for graphs with variable length in order to solve learning problems such as vertex classification, graph classification, graph regression, and graph generative tasks. Most existing works have focused on recurrent neural networks (RNNs) to learn meaningful representations of graphs, and more recently new convolutional neural networks (ConvNets) have been introduced. In this work, we want to compare rigorously these two fundamental families of architectures to solve graph learning tasks. We review existing graph RNN and ConvNet architectures, and propose natural extension of LSTM and ConvNet to graphs with arbitrary size. Then, we design a set of analytically controlled experiments on two basic graph problems, i.e. subgraph matching and graph clustering, to test the different architectures. Numerical results show that the proposed graph ConvNets are 3-17% more accurate and 1.5-4x faster than graph RNNs. Graph ConvNets are also 36% more accurate than variational (non-learning) techniques. Finally, the most effective graph ConvNet architecture uses gated edges and residuality. Residuality plays an essential role to learn multi-layer architectures as they provide a 10% gain of performance.

研究の動機と目的

• ソーシャル、脳、規制など、さまざまなドメインで可変長を持つグラフ上で動作するニューラルネットワークの必要性を動機づける。
• グラフ再帰ネットワーク（RNN）とグラフ畳み込みネットワーク（ConvNets）を比較し、それらを任意のグラフサイズへ拡張する。
• 性能と深いグラフモデルの訓練を改善するために、残差ゲート付きグラフConvNetsを設計・評価する。

提案手法

• 既存のグラフRNNおよびConvNetアーキテクチャのレビュー。
• エッジゲーティングを備えた多層グラフLSTMとゲート付きグラフConvNetを提案。
• より深いアーキテクチャを可能にする層間での残差接続を組み込む。
• サブグラフマッチングとグラフクラスタリングの解析的に制御された実験を用いてモデルを比較。
• 公正な比較を確保するためにバッチ正規化と標準的な最適化スケジュールを採用。

(b) Graph ConvNet

実験結果

リサーチクエスチョン

• RQ1 任意のサイズと深さを持つグラフをよりうまく扱うのはどのアーキテクチャか（グラフRNN vs グラフConvNet）？
• RQ2 ゲート付きエッジと残差接続はグラフ構造タスクの学習を改善するか？
• RQ3 ノイズと予算制約を変えた場合、サブグラフマッチングとグラフクラスタリングにおいて異なるアーキテクチャはどの程度性能を発揮するか？

主な発見

• グラフConvNetsは、同じタスクでグラフRNNより精度を3-17%高く、訓練は1.5-4倍速い。
• グラフConvNetsは、同じタスクで変分法（非学習）技術より36%高い精度を示す。
• 最も効果的なグラフConvNetはゲート付きエッジと残差接続を使用している。
• 残差性は6層以上を積み重ねたときに性能が約10%向上する。
• ConvNetアーキテクチャは深さの増加から利益を得る一方、RNNベースのモデルは層を多くすると性能が低下する可能性がある。

(a) Subgraph matching