[論文レビュー] Continuous Graph Neural Networks

Louis-Pascal Xhonneux, Meng Qu+1 more|arXiv (Cornell University)|Dec 2, 2019

Advanced Graph Neural Networks参考文献 36被引用数 41

ひとこと要約

CGNNはODEを介して連続時間グラフニューラルネットワークを提案し、ノード表現をモデル化。オーバーサ smoothingを解決し、深層伝播を可能にし、ベンチマークグラフでノード分類の強力な結果を示す。

ABSTRACT

This paper builds on the connection between graph neural networks and traditional dynamical systems. We propose continuous graph neural networks (CGNN), which generalise existing graph neural networks with discrete dynamics in that they can be viewed as a specific discretisation scheme. The key idea is how to characterise the continuous dynamics of node representations, i.e. the derivatives of node representations, w.r.t. time. Inspired by existing diffusion-based methods on graphs (e.g. PageRank and epidemic models on social networks), we define the derivatives as a combination of the current node representations, the representations of neighbors, and the initial values of the nodes. We propose and analyse two possible dynamics on graphs---including each dimension of node representations (a.k.a. the feature channel) change independently or interact with each other---both with theoretical justification. The proposed continuous graph neural networks are robust to over-smoothing and hence allow us to build deeper networks, which in turn are able to capture the long-range dependencies between nodes. Experimental results on the task of node classification demonstrate the effectiveness of our proposed approach over competitive baselines.

研究の動機と目的

• Motivate Graph Neural Networks (GNN)と深さを制限するオーバーサ smoothingの問題を動機付ける。
• ODEによりノード表現上の連続時間ダイナミクスを導入し、拡散法に着想を得る。
• 独立した特徴チャネルとチャネル相互作用という二つの増加容量ODEを提供。
• 固定点と長距離依存性能力を理論的に分析。
• ノード分類で経験的な利益を示し、メモリ効率を強調。

提案手法

• 拡散に着想した伝搬から導出されたODEによって進化するノード表現H(t)を定義。
• ケース1: 独立した特徴チャネルが導く dH/dt = (A - I)H(t) + E で H(0)=E。
• 解析解を証明し、t→∞で H(t) が ≈ (I - A)^{-1}E に収束することを示す。
• ケース2: チャネル相互作用を導入し H'(t) = (A - I)H(t) + H(t)(W - I) + E、W を固有分解可能かつ固有値を < 1 に安定化。
• 対数項を簡略化するためにテイラー近似を用い、実用的な計算を可能にする。
• 記憶効率の劣化を避けるために随伴法を用いた誤差伝搬。

実験結果

リサーチクエスチョン

• RQ1 拡散に着想したグラフ伝搬に基づく連続時間ODEはオーバーサ smoothingを回避しつつ深い表現を可能にするか？
• RQ2 独立した特徴チャネルと相互作用チャネルはグラフ上の学習にどう影響するか？
• RQ3 提案するCGNNダイナミクスの理論的特性（例: 固定点、収束）は？
• RQ4 CGNNは標準的なノード分類ベンチマークで離散的なGNNと同時期の連続アプローチと比較してどう性能を示すか？

主な発見

• CGNNはCora、Citeseer、Pubmed、NELLで強力なノード分類結果を達成し、いくつかのベースラインを上回る。
• 統合時間に対して頑健で、時間が大きくなると情報損失を生じず、実質的に無限深度の解釈を可能にする。
• チャネル相互作用（重み）を用いる変種も同等の利益を提供し、より難しいグラフで潜在的な利点を持つ。
• CGNNは随伴法によるメモリ効率を実証し、深さに応じたメモリコストを一定に保つ。
• CGNNは離散伝搬ベースライン（GCN、GAT）および同時期のODEベース手法（GODE）を複数データセットで上回る。
• 理論分析はダイナミクスがグラフ構造と初期特徴の両方を捉える定常表現へ収束することを示す。