[論文レビュー] On Asymptotic Behaviors of Graph CNNs from Dynamical Systems Perspective

Kenta Oono, Taiji Suzuki|arXiv (Cornell University)|Jan 1, 2019

Advanced Graph Neural Networks参考文献 31被引用数 17

ひとこと要約

本稿は、グラフ畳み込みネットワーク（GCN）の漸近的挙動を、その順方向伝播を力学系としてモデル化することで調査し、GCNが、ノード表現が連結成分とノード次数にのみ依存する極限に指数関数的に収束することを明らかにした。主な貢献は、GCNの表現力とグラフスペクトルの間の理論的枠組みを確立し、性能向上に寄与する根拠に基づいた重み正規化戦略を提示した点である。

ABSTRACT

Graph Neural Networks (graph NNs) are a promising deep learning approach for analyzing graph-structured data. However, it is known that they do not improve (or sometimes worsen) their predictive performance as we pile up many layers and add non-lineality. To tackle this problem, we investigate the expressive power of graph NNs via their asymptotic behaviors as the layer size tends to infinity. Our strategy is to generalize the forward propagation of a Graph Convolutional Network (GCN), which is a popular graph NN variant, as a specific dynamical system. In the case of a GCN, we show that when its weights satisfy the conditions determined by the spectra of the (augmented) normalized Laplacian, its output exponentially approaches the set of signals that carry of the connected components and node degrees only for distinguishing nodes. Our theory enables us to relate the expressive power of GCNs with the topological of the underlying graphs inherent in the graph spectra. To demonstrate this, we characterize the asymptotic behavior of GCNs on the Erdős -- Renyi graph. We show that when the Erdős -- Renyi graph is sufficiently dense and large, a broad range of GCNs on it suffers from the information loss in the limit of infinite layers with high probability. Based on the theory, we provide a principled guideline for weight normalization of graph NNs. We experimentally confirm that the proposed weight scaling enhances the predictive performance of GCNs in real data. Code is available at this https URL.

研究の動機と目的

• 深さが増すにつれてGCNが性能向上を示さない、あるいは性能が低下する理由を理解すること。
• 層数が無限大に近づく際のGCNの漸近的挙動を分析すること。
• GCNの表現力と、その背後にあるグラフのスペクトル的性質との間の理論的関係を確立すること。
• GCNが無限大の深さにおいて情報損失を被る条件を特定すること。
• スペクトルグラフ理論に基づいた、根拠に基づいた重み正規化戦略を導出し、GCNの性能を向上させること。

提案手法

• グラフの正規化ラプラシアンから導かれる線形常微分方程式（ODE）に従う連続時間力学系として、GCNの順方向伝播をモデル化する。
• 拡張された正規化ラプラシアンの固有値に結びつく特定の重み制約の下で、力学系の安定性と収束性を分析する。
• 層数が無限大に近づく際のGCN出力の極限を特徴づけ、それが連結成分とノード次数にのみ依存する信号に収束することを示す。
• 密度やサイズを変化させた場合の漸近的挙動を調査するため、Erdős–Rényiランダムグラフに理論的枠組みを適用する。
• 正規化ラプラシアンのスペクトル半径に基づいて、早期収束や情報損失を防ぐ重み正規化ルールを導出する。
• 実世界のグラフデータセットを用いた実験を通じて、提案された正規化の有効性を検証し、予測性能の向上を示す。

実験結果

リサーチクエスチョン

• RQ1 層数が無限大に近づく際、GCNの出力はどのように振る舞い、その極限的挙動は何かが決定づけるか？
• RQ2 グラフラプラシアンのスペクトル的条件下で、GCNが無限大の深さにおいてノードを区別する情報を失う条件は何か？
• RQ3 Erdős–Rényiランダムグラフにおいて、グラフが大きくなり密になるに従い、GCNがどの程度情報損失を被るか？
• RQ4 GCNの漸近的挙動を活用して、より良い重み初期化または正規化スキームを設計できるか？
• RQ5 提示されたスペクトルに基づく重み正規化は、実世界のグラフデータセットにおけるGCN性能を向上させるか？

主な発見

• 特定の重み条件（グラフのスペクトルに依存）のもとで、GCNの出力は、ノード表現が連結成分とノード次数にのみ依存する極限に指数関数的に収束する。
• 十分に密度が高く、かつ大きなErdős–Rényiグラフでは、広い範囲のGCNが、無限大の深さにおいて高い確率で情報損失を被る。
• 理論的分析により、GCNの表現力は、正規化ラプラシアン行列のスペクトル的性質によって本質的に制限されていることが明らかになった。
• スペクトル的制約に基づいて導出された、提案された重み正規化戦略は、実世界のデータセットにおけるGCN性能を向上させる。
• 実験的結果により、正規化されたGCNが標準的なGCNと比較してより優れた予測性能を達成することが確認され、理論的知見の妥当性が裏付けられた。
• ノード信号の低次元部分空間への収束は、特に高い接続性を持つグラフにおいて、深層GCNがノードを区別する能力を制限する。