[論文レビュー] Reconstruction for Powerful Graph Representations

Leonardo Cotta, Christopher Morris+1 more|arXiv (Cornell University)|Oct 1, 2021

Advanced Graph Neural Networks参考文献 100被引用数 4

ひとこと要約

本論文は、k-頂点部分グラフからグラフを再構築することで、表現力の向上を図る新しいフレームワークk-再構築GNNを提案する。この手法により、置換不変性を保ちつつ表現力を著しく向上させ、従来のGNNでは解けなかった7つのグラフ性質のタスクを解けるようになり、9つの実世界ベンチマークで最大25%の性能向上を達成した。理論的表現力と実用的スケーラビリティの両面を示した。

ABSTRACT

Graph neural networks (GNNs) have limited expressive power, failing to represent many graph classes correctly. While more expressive graph representation learning (GRL) alternatives can distinguish some of these classes, they are significantly harder to implement, may not scale well, and have not been shown to outperform well-tuned GNNs in real-world tasks. Thus, devising simple, scalable, and expressive GRL architectures that also achieve real-world improvements remains an open challenge. In this work, we show the extent to which graph reconstruction -- reconstructing a graph from its subgraphs -- can mitigate the theoretical and practical problems currently faced by GRL architectures. First, we leverage graph reconstruction to build two new classes of expressive graph representations. Secondly, we show how graph reconstruction boosts the expressive power of any GNN architecture while being a (provably) powerful inductive bias for invariances to vertex removals. Empirically, we show how reconstruction can boost GNN's expressive power -- while maintaining its invariance to permutations of the vertices -- by solving seven graph property tasks not solvable by the original GNN. Further, we demonstrate how it boosts state-of-the-art GNN's performance across nine real-world benchmark datasets.

研究の動機と目的

• サイクルグラフや強正則グラフなどの特定のグラフクラスを区別できない、標準GNNの表現力の限界を解消すること。
• k-WL や同型性テストに基づく既存の表現力のあるGNNアーキテクチャのスケーラビリティと実装の難しさを克服すること。
• グラフ再構築をインダクティブバイアスとして用いる、実用的でスケーラブルかつ理論的裏付けのあるGNNの強化手法を開発すること。
• 頂点除去不変性下で、再構築が低い分散リスク推定器として機能し、一般化性能を向上させることを示すこと。
• 再構築予想を活用して、高価な同型性テストに依存せずに、普遍近似器を設計することにより、グラフ理論と表現学習を橋渡しすること。

提案手法

• k-頂点部分グラフから元のグラフを再構築する、表現力のあるGNNのクラス「k-再構築ニューラルネットワーク（k-RNN）」を提案する。
• 任意の既存GNNアーキテクチャを、部分グラフ再構築を組み込むことで強化する汎用的な手法として、k-再構築GNNを導入する。
• 再構築予想を理論的基盤として用い、k-再構築GNNが有界サイズの属性付きグラフに対して普遍近似を達成することを証明する。
• 完全な同型性テストよりもメモリと計算コストを削減するため、訓練中に部分グラフをサンプリングする微分可能でスケーラブルな訓練手順を設計する。
• 頂点の削除に伴う頂点表現の変化を、直径やスペクトル半径のようなグローバルなグラフ特性の再構築のシグナルとして活用する。
• GNN層での対称的アグリゲーションにより、部分グラフ表現が順序に依存しないようにすることで、置換不変性を維持する。

実験結果

リサーチクエスチョン

• RQ1 k-頂点部分グラフからのグラフ再構築は、GNNの表現力を向上させる強力なインダクティブバイアスとして機能するか？
• RQ2 k-再構築GNNは、1-WL や 2-WL が分離できないグラフクラス（例：サイクルグラフ、強正則グラフ）をどの程度正確に区別できるか？
• RQ3 再構築は、特に頂点除去不変性下で、実世界のグラフ学習タスクにおける一般化性能をどのように向上させるか？
• RQ4 再構築を既存のGNNアーキテクチャに統合しても、スケーラビリティや置換不変性を損なわないか？
• RQ5 訓練中に部分グラフをサンプリングすることで、正確な再構築と比較して計算コストを削減しつつ、性能を維持できるか？

主な発見

• k-再構築GNNは、サイクル検出や直径推定などの7つの合成グラフ性質タスクを、従来のGNNでは解けないタスクとして成功裏に解消した。
• 9つの実世界ベンチマークデータセットで、分子性質予測やソーシャルネットワーク解析を含む多様なタスクで、最大25%の性能向上を達成し、一貫した向上を示した。
• 部分グラフサンプリング（例：15個の部分グラフ）を用いた(n-1)-再構築GNNは、正確なモデルと比較して、訓練損失と収束速度が21%以内に収まり、グラフサイズに依存しない固定GPUメモリ使用量を維持した。
• 元のグラフ生成分布が頂点の削除に対して不変である場合、再構築は低い分散リスク推定器として機能し、一般化性能を向上させる。
• k-再構築GNNは、Ring-GNN や PPGN、Positional GIN とは異なり、置換不変性を維持しながら、全テストタスクを解消した。
• 高価な同型性テストや固定サイズの非属性グラフの制約を回避し、有界サイズの属性付きグラフに対してスケーラブルな普遍近似を実現した。