[論文レビュー] A Hierarchy of Graph Neural Networks Based on Learnable Local Features

Michael Lingzhi Li, Dong Meng+2 more|arXiv (Cornell University)|Nov 13, 2019

Advanced Graph Neural Networks参考文献 34被引用数 7

ひとこと要約

本論文は、学習可能な局所特徴に基づく理論的階層としてのグラフニューラルネットワーク（GNN）を提案する。GNNは、隣接ノードを越える部分グラフである集約領域によって分類され、より強力なモデルを体系的に構築可能となる。このフレームワークは、高次の部分グラフにわたる集約を行うGNNが1-WL同型性テストの識別力を超えることができることを証明し、実験的結果では三角形のような構造的性質を捉える能力を示し、ノードおよびグラフ分類タスクで優れた性能を発揮する。

ABSTRACT

Graph neural networks (GNNs) are a powerful tool to learn representations on graphs by iteratively aggregating features from node neighbourhoods. Many variant models have been proposed, but there is limited understanding on both how to compare different architectures and how to construct GNNs systematically. Here, we propose a hierarchy of GNNs based on their aggregation regions. We derive theoretical results about the discriminative power and feature representation capabilities of each class. Then, we show how this framework can be utilized to systematically construct arbitrarily powerful GNNs. As an example, we construct a simple architecture that exceeds the expressiveness of the Weisfeiler-Lehman graph isomorphism test. We empirically validate our theory on both synthetic and real-world benchmarks, and demonstrate our example's theoretical power translates to strong results on node classification, graph classification, and graph regression tasks.

研究の動機と目的

• GNNアーキテクチャ設計と比較に関する体系的かつ理解の欠如に取り組む。
• 即時近隣を越える集約領域に基づいてGNNの階層を形式化する。
• Weisfeiler-Lehman（1-WL）テストを超える、任意の高い識別力を有するGNNを構築する。
• 実世界および合成ベンチマークにおいて、階層に由来するモデルが標準GNNを上回ることを実証的に検証する。
• 三角形の数のような構造的不変量が、高次の集約領域でのみ学習可能であることを示す。

提案手法

• 集約領域（ターゲットノードを含む部分グラフ）に基づいて分類されるGNNの階層を提案し、やや緩い構造的制約の下で定義する。
• 2つの主要な集約タイプを導入する：L1（三角形を含む局所的1ホップ部分グラフ）とD2（2ホップの次数に基づく部分グラフ）、高次元領域への一般化を含む。
• 識別力の理論的上限を導出し、即時近隣に限定されたGNNが、近隣における三角形の数を学習できないことを示す。
• 表現力の比較基準としてWeisfeiler-Lehman（WL）同型性テストを用い、階層が任意に強力なGNNを生成可能であることを証明する。
• 1層のGNN（GCN-L1）をL1領域を用いて構築し、深層スタックを必要とせず1-WLの表現力を上回ることを実証する。
• 効率性と公平な比較のため、1層のパーセプトロン結合関数を採用し、ノード次数による正規化を実施して安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 即時近隣を越える部分グラフに集約するGNNは、1ホップ近隣に限定されたものよりも高い識別力を達成できるか？
• RQ2 集約領域に基づいて、GNNアーキテクチャを体系的に分類・構築する方法は存在するか？
• RQ3 提案された階層は、1-WLグラフ同型性テストの表現力を超えるGNNを生成できるか？
• RQ4 三角形を捉えるような高次の集約領域を用いるモデルは、実世界のグラフ学習タスクで優れた性能を発揮するか？
• RQ5 即時近隣からL1およびD2部分グラフに集約領域を拡張した際の、ノードおよびグラフ分類タスクへの実験的影響は何か？

主な発見

• L1部分グラフ（三角形を含む）に集約するGCN-L1は、Coraで82.5±0.3のテスト精度を達成し、標準GCN（80.6±1.4）を上回り、他の最先端モデルと同等またはそれを上回る。
• D2集約領域を用いるGCN-D2は、Coraで82.9±1.0、MUTAGで87.8±5.6を達成し、GCNを著しく上回り、GINやGATと同等の結果を示す。
• QM7b回帰タスクでは、GCN-L1が52.4±4.3 MSEを達成し、GCNの104.3±15.6 MSEを著しく上回り、回帰性能の向上を示す。
• QM9では、GCN-D2が72.5±13.0 MSEを達成し、GCNの160.2±15.4 MSEを上回り、分子グラフ回帰において優れた一般化性能を示す。
• L1からD2への改善はわずかであり、主な利益は1次元拡張（L1）に起因していることが示され、定理1で示されるように階層の完全性が裏付けられる。
• このフレームワークは、GCN、GAT、N-GCNといった既存モデルを1つの理論的階層に統合し、それらの表現力が即時近隣集約に制限されることを示している。