[論文レビュー] Graph Neural Networks Exponentially Lose Expressive Power for Node Classification

Kenta Oono, Taiji Suzuki|arXiv (Cornell University)|May 27, 2019

Advanced Graph Neural Networks参考文献 57被引用数 184

ひとこと要約

本研究は、層が深くなるにつれて、グラフ畳み込みネットワーク（GCN）がグラフスペクトル特性により指標的に指数的に表現力を失い、密なグラフで情報損失が生じることを示し、実データで検証されたウェイト正規化の指針を提案する。

ABSTRACT

Graph Neural Networks (graph NNs) are a promising deep learning approach for analyzing graph-structured data. However, it is known that they do not improve (or sometimes worsen) their predictive performance as we pile up many layers and add non-lineality. To tackle this problem, we investigate the expressive power of graph NNs via their asymptotic behaviors as the layer size tends to infinity. Our strategy is to generalize the forward propagation of a Graph Convolutional Network (GCN), which is a popular graph NN variant, as a specific dynamical system. In the case of a GCN, we show that when its weights satisfy the conditions determined by the spectra of the (augmented) normalized Laplacian, its output exponentially approaches the set of signals that carry information of the connected components and node degrees only for distinguishing nodes. Our theory enables us to relate the expressive power of GCNs with the topological information of the underlying graphs inherent in the graph spectra. To demonstrate this, we characterize the asymptotic behavior of GCNs on the Erdős -- Rényi graph. We show that when the Erdős -- Rényi graph is sufficiently dense and large, a broad range of GCNs on it suffers from the "information loss" in the limit of infinite layers with high probability. Based on the theory, we provide a principled guideline for weight normalization of graph NNs. We experimentally confirm that the proposed weight scaling enhances the predictive performance of GCNs in real data. Code is available at https://github.com/delta2323/gnn-asymptotics.

研究の動機と目的

• グラフニューラルネットワークの表現力が深さの増加に伴ってどのように劣化するかを理解する。
• 基盤となるグラフのスペクトル特性とGCNの漸近的挙動を関連づける。
• 高密度グラフおよび Erdős–Rényi グラフ上での情報損失を特徴づける。
• グラフNNにおける過度平滑化を緩和するためのウェイト正規化の原理的な指針を提供する。

提案手法

• ノード特徴上の線形演算子Pを用いたMLPで構成されたダイナミカルシステムとしてGCNの前向き伝搬をモデル化する。
• U ⊗ R^C を満たす非負正規直交基底を持ち、P不変である不変部分空間 M を定義する。
• d_M(f_l(X)) ≤ s_l λ d_M(X) を示す。ここで s_l は層ウェイト特異値の積、λ は拡張正規化ラプラシアンのスペクトルに関連する。
• 拡張正規化ラプラシアン P を用いたGCNへ一般結果を特化し、X^(l) が (sλ)^l の速度で M に収束することを示す。
• 理論を Erdős–Rényi グラフ G_{N,p} に適用し、情報損失が高確率で生じる条件を導出する。
• スペクトルパラメータ λ と実データでの経験的検証に基づくウェイト正規化の指針を提供する。

実験結果

リサーチクエスチョン

• RQ1 深さの増加に伴い、どのようなスペクトル条件でGCNはノードを区別する能力を失うか？
• RQ2 拡張正規化ラプラシアンのスペクトルはGCNにおける情報保持または喪失をどのように支配するのか？
• RQ3 原理的なウェイト正規化は過度平滑化を打ち消し、実データ上の深いGCNの性能を改善できるか？
• RQ4 Erdős–Rényi グラフは深さによる情報損失を示すのか、グラフ密度はこの挙動にどう影響するのか？

主な発見

• GCN の出力は深さが増すにつれて、基底周波数成分に結びつく不変部分空間 M に収束する傾向を示す。
• 不変空間への距離は d_M(f_l(X)) ≤ (∏_h s_lh) λ d_M(X) に従い、sλ < 1 のときMへの指数収束を意味する。
• 十分に密で大規模な Erdős–Rényi グラフでは、多くのGCNが層が増えるにつれて高い確率で情報損失を被る。
• 深いGCNが識別情報を保持するか、あるいは不変空間へ崩壊するかを支配するウェイトスケーリング閾値 (sλ) が存在する。
• 理論に導かれたウェイト正規化は実データセット（例：コラ synthetically dense graphs や実データのノイズ版本）で予測性能を改善できることを、実証実験が示している。
• 本分析はグラフNNの表現力を拡張正規化ラプラシアンのスペクトルを通じたトポロジカル情報と結びつける。