[論文レビュー] Implicit Graph Neural Networks

Fangda Gu, Heng Chang+3 more|arXiv (Cornell University)|Sep 14, 2020

Advanced Graph Neural Networks参考文献 53被引用数 45

ひとこと要約

IGNNはPFに基づくwell-posed性を備えた暗黙の固定点グラフニューラルネットワークフレームワークを導入し、射影勾配法と暗黙微分で学習を行い、長距離依存性を強力にモデル化し、異種グラフへの拡張も実現します。

ABSTRACT

Graph Neural Networks (GNNs) are widely used deep learning models that learn meaningful representations from graph-structured data. Due to the finite nature of the underlying recurrent structure, current GNN methods may struggle to capture long-range dependencies in underlying graphs. To overcome this difficulty, we propose a graph learning framework, called Implicit Graph Neural Networks (IGNN), where predictions are based on the solution of a fixed-point equilibrium equation involving implicitly defined "state" vectors. We use the Perron-Frobenius theory to derive sufficient conditions that ensure well-posedness of the framework. Leveraging implicit differentiation, we derive a tractable projected gradient descent method to train the framework. Experiments on a comprehensive range of tasks show that IGNNs consistently capture long-range dependencies and outperform the state-of-the-art GNN models.

研究の動機と目的

• グラフ上の長距離依存を捉える際の有限ホップGNNの限界を解消する。
• Perron-Frobenius理論を用いた平衡GNNの数学的well-posed性フレームワークを提供する。
• 射影勾配降下法と暗黙微分を用いた実用的な学習法を開発する。
• 関係特有のパラメータを持つ異種ネットワークへのIGNNの拡張。
• ノードおよびグラフ分類タスクにおいて、IGNNが最先端のGNNを経験的に上回ることを示す。

提案手法

• IGNNの予測をY = f_Θ(X)と定義し、Xは平衡条件 X = φ(W X A + b_Ω(U)) を満たすように解く。
• 成分ごとに非膨張な活性化 φ（CONE）とPF理論を用いて、Xの存在と一意性の十分条件を導出する。
• 射影によって ||W||_∞ ≤ κ/λ_pf(A) のwell-posed性制約を課す射影法を用いた学習と、暗黙微分による正確な勾配計算を行う。
• 異種ネットワークへの拡張：X = φ(∑_i (W_i X A_i + b_{Ω_i}(U))).
• 異種設定での訓練の数値的に扱いやすい凸条件を提供：∑_i ||A_i||_1 ||W_i||_∞ ≤ κ < 1。
• 正のホモジニアスな φ に対して、Wを再スケーリングすることでPF条件を満たせることを示す（定理4.3）。

実験結果

リサーチクエスチョン

• RQ1 平衡（implicit）GNNが、グラフと活性化の選択の下でノード表現の一意解を持つことが保証できるか？
• RQ2 暗黙微分を用いて正確な勾配を維持しつつ、well-posed性を保ちながら効率的にIGNNを訓練できるか？
• RQ3 IGNNは有限反復GNNより長距離依存をより良く捉えるか？
• RQ4 複数の関係タイプを持つ異種グラフで、IGNNは最先端ベースラインと比較してどうなるか？
• RQ5 ノードおよびグラフ分類のベンチマークでIGNNはどの程度の実証的利得をもたらすか？

主な発見

• IGNNは長距離依存を一貫して捉え、広範なタスクで最先端のGNNを上回る。
• 合成チェーンデータにおいて、チェーン長が長くなるにつれてIGNNは有限反復GNNより優れており、有限T反復GNNは長いチェーンで劣る。
• PPIノード分類で、IGNNはMicro-F1=97.6%を達成し、SSE(83.6%)を上回り、GAT(97.3%)をやや上回る。
• Amazonの多ラベルノード分類タスクで、監視が増えるにつれてIGNNはベースラインを上回り、長距離依存性の扱いが堅牢。
• グラフ分類の結果は、5データセット中4データセットでIGNNが最高性能を達成。データセット別の最高はMUTAG: 89.3±6.7、PTC: 70.1±5.6、COX2: 86.9±4.0、PROTEINS: 77.7±3.4、NCI1: 80.5±1.9。
• 異種ネットワーク（ACM、IMDB、DBLP）では、ACMとIMDBで最高性能を達成し、DBLPでは競合的な結果。ACM/IMDBが最高、DBLPでは競合的。