[論文レビュー] Understanding the Representation Power of Graph Neural Networks in Learning Graph Topology

Nima Dehmamy, Albert-Ĺaszló Barabási+1 more|arXiv (Cornell University)|Jul 11, 2019

Advanced Graph Neural Networks参考文献 39被引用数 43

ひとこと要約

本論文はGCNがトポロジーを符号化するグラフモーメントをどれだけうまく学習するかを分析し、標準的なGCNの限界を示し、複数の伝搬ルールを組み合わせたモジュラー型・残差付きGCN設計を提案して表現力を向上させ、異なる生成器からの小さなグラフを判別できるようにする。

ABSTRACT

To deepen our understanding of graph neural networks, we investigate the representation power of Graph Convolutional Networks (GCN) through the looking glass of graph moments, a key property of graph topology encoding path of various lengths. We find that GCNs are rather restrictive in learning graph moments. Without careful design, GCNs can fail miserably even with multiple layers and nonlinear activation functions. We analyze theoretically the expressiveness of GCNs, concluding a modular GCN design, using different propagation rules with residual connections could significantly improve the performance of GCN. We demonstrate that such modular designs are capable of distinguishing graphs from different graph generation models for surprisingly small graphs, a notoriously difficult problem in network science. Our investigation suggests that, depth is much more influential than width, with deeper GCNs being more capable of learning higher order graph moments. Additionally, combining GCN modules with different propagation rules is critical to the representation power of GCNs.

研究の動機と目的

• GCNがグラフモーメントをどれだけうまく学習してグラフのトポロジーを特徴づけるかを調査する。
• GCNにおける表現力の深さと幅の依存性を理論的に分析する。
• 置換不変性を保ちながら表現力を高めるため、異なる伝搬規則を組み合わせたモジュラー型GCN設計を開発する。
• 残差接続を備えたモジュラーGCNが、異なるモデルによって生成された小さなグラフを区別できることを実証する。
• GCNを用いたグラフトポロジー学習を改善するためのアーキテクチャ設計に関する実践的指針を提供する。

提案手法

• グラフモーメントを定義し、置換不変性が学習可能なモーメントをどのように制約するかを示す。
• 特別な設計なしでは、単一層および多層GCNが高次のグラフモーメントを学習する際の限界を理論的に証明する。
• グラフモーメントの多項式を学習するため、三つの伝搬ルールと残差接続を備えたモジュラー型GCN設計を導入する。
• 小規模グラフでBA、ER、配置モデルのグラフを区別するタスクでモジュラーGCNを評価する。
• 深さと幅の効果を比較し、モジュールの組み合わせに関するアブレーション研究を行う。

実験結果

リサーチクエスチョン

• RQ1 置換不変性の下でGCNは高次のグラフモーメントを学習できるか？
• RQ2 深さと幅は、GCNがグラフトポロジーモーメントを捉える能力にどう影響するか？
• RQ3 複数の伝搬規則と残差接続を備えたモジュラー設計は、標準的なGCNを超える表現力を向上させるか？
• RQ4 小さなグラフでモジュラーGCNはグラフ生成モデルをどの程度区別できるか？

主な発見

• 全結合ネットは、GCNと比較してグラフモーメントの学習に対してサンプル効率・パラメータ効率が悪い。
• f(A)=Aの場合、単一層のGCNは次数を学習できるが、f(A)=D^{-1}Aのような他のモーメント形には失敗する。
• 残差接続がない場合、n<pレイヤのGCNはp次のグラフモーメントを学習するのに苦労する。
• 残差接続を用いると、多層のGCNはO(p)ニューロンでグラフモーメント M_p(A) を学習でき、表現力をグラフサイズではなく深さに結びつける。
• 三つのモジュールと残差接続を備えたモジュラーGCNは、小規模グラフで BA vs ER および BA vs Config BA のグラフをほぼ完璧に識別できる。
• 深さの増加は幅よりも性能により大きな影響を与え、モジュールを組み合わせるとトポロジー判別に実質的な向上をもたらす。