[論文レビュー] EIGNN: Efficient Infinite-Depth Graph Neural Networks

Juncheng Liu, Kenji Kawaguchi+3 more|arXiv (Cornell University)|Feb 22, 2022

Neural Networks and Applications被引用数 8

ひとこと要約

本稿では、反復的ソルバーを避けるために閉形式解を導出することで、長距離依存関係を効率的に捉えることのできる無限深さのグラフニューラルネットワーク、EIGNNを提案する。合成および実世界のデータセットにおいて、最先端の性能とノイズおよび敵対的摂動に対する向上した耐性を達成しており、固有値分解を用いることで計算効率が向上している。

ABSTRACT

Graph neural networks (GNNs) are widely used for modelling graph-structured data in numerous applications. However, with their inherently finite aggregation layers, existing GNN models may not be able to effectively capture long-range dependencies in the underlying graphs. Motivated by this limitation, we propose a GNN model with infinite depth, which we call Efficient Infinite-Depth Graph Neural Networks (EIGNN), to efficiently capture very long-range dependencies. We theoretically derive a closed-form solution of EIGNN which makes training an infinite-depth GNN model tractable. We then further show that we can achieve more efficient computation for training EIGNN by using eigendecomposition. The empirical results of comprehensive experiments on synthetic and real-world datasets show that EIGNN has a better ability to capture long-range dependencies than recent baselines, and consistently achieves state-of-the-art performance. Furthermore, we show that our model is also more robust against both noise and adversarial perturbations on node features.

研究の動機と目的

• 過剰平滑化と計算コストの問題により、有限深さのGNNが長距離依存関係を捉えるのを制限する点を解決すること。
• IGNNなどの既存の暗黙的GNNモデルで見られる不安定さと非効率性を克服すること。
• 収束問題のない、無限深さのメッセージパッシングを可能にする、取り扱いやすくスケーラブルで耐性のあるGNNフレームワークを構築すること。
• 精度を損なわずに、固有値分解を用いて計算効率を向上させること。

提案手法

• EIGNNを無限個のグラフ畳み込みの極限として定式化し、理論的収束を証明する。
• 順伝播および逆伝播の閉形式解を導出し、反復的ソルバーおよび射影勾配降下法の必要性を排除する。
• トレーニング中の計算およびメモリ複雑度を低減するために、グラフ遷移行列の固有値分解を活用する。
• 大規模グラフを処理するためのスケーラブルな前処理戦略として、切り捨てられた固有値分解とグラフ分割を適用する。
• 無限深さの定式化のおかげで、構造的に過剰平滑化を自然に回避するようにモデルを設計する。
• 閉形式解のおかげで、端から端まで微分可能かつ安定した最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 反復的ソルバーに依存せずに、無限深さのGNNモデルを実現できるか。その場合、どのように効率的に学習できるか？
• RQ2 無限深さGNNの閉形式解は、有限深さまたは反復的モデルよりも優れた長距離依存関係学習を実現するか？
• RQ3 固有値分解は、精度を損なわずに、無限深さGNNの学習にかかる計算コストを顕著に削減できるか？
• RQ4 EIGNNは、既存のGNNと比較して、特徴ノイズおよび敵対的摂動に対する耐性において優れた性能を示すか？
• RQ5 提案されたモデルは大規模グラフにスケーラブルか。また、固有値分解のコストを軽減するための前処理技術は何か？

主な発見

• EIGNNは、鎖の長さが異なる合成データセットにおいて、IGNN や APPNP を含むすべてのベースラインを上回る最先端の性能を達成した。
• 長鎖データセットでは、EIGNNは鎖の長さが100に達するまで高いテスト精度を維持したが、GCN や APPNP などのベースラインは著しく劣化した。
• T検定からのp値は、EIGNNの性能向上が統計的に有意であることを確認した（p < 0.001）。
• EIGNNは、特徴ノイズおよび敵対的摂動の両方の条件下でも優れた耐性を示し、これらの状況下で既存のモデルを上回った。
• 固有値分解の使用により計算複雑度が低下し、切り捨てられた固有値分解が大規模グラフ処理において実用的で効率的な前処理ステップであることが示された。
• IGNNが反復的ソルバーにおける近似解の問題から生じる非収束および最適化の不安定さを経験するのに対し、EIGNNはその問題を回避した。