[論文レビュー] A Note on Over-Smoothing for Graph Neural Networks

Chen Cai, Yusu Wang|arXiv (Cornell University)|Jun 23, 2020

Advanced Graph Neural Networks参考文献 19被引用数 96

ひとこと要約

本論文は Dirichlet energy を用いて非線形 GNNs における過平滑化を解析し、層が深くなるにつれて埋め込みが判別力を失う可能性があることを示し、Leaky ReLU および次元の変化を扱う代替証明とエッジ操作に関する実験を提供する。

ABSTRACT

Graph Neural Networks (GNNs) have achieved a lot of success on graph-structured data. However, it is observed that the performance of graph neural networks does not improve as the number of layers increases. This effect, known as over-smoothing, has been analyzed mostly in linear cases. In this paper, we build upon previous results \cite{oono2019graph} to further analyze the over-smoothing effect in the general graph neural network architecture. We show when the weight matrix satisfies the conditions determined by the spectrum of augmented normalized Laplacian, the Dirichlet energy of embeddings will converge to zero, resulting in the loss of discriminative power. Using Dirichlet energy to measure "expressiveness" of embedding is conceptually clean; it leads to simpler proofs than \cite{oono2019graph} and can handle more non-linearities.

研究の動機と目的

• 深い GNN における過平滑化の研究動機と判別力への影響を動機づける。
• 一般的な活性化関数を持つ非線形 GNN に対して、既存の線形分析を拡張する。
• Dirichlet-energy に基づく枠組みを提供し、深い GNN を分析して特定条件下でのエネルギーの指数関数的減衰を実証する。
• Leaky ReLU および埋め込み次元の変化への適用性を示す。

提案手法

• 各 GCN 層を f_l(X) = ML P_l (P X) と拡張正規化ラプラシアンで表す。
• 層を横断して Dirichlet energy E(X) = tr(X^T \tilde{Δ} X) を追跡し、表現力を分析する。
• λ を拡張ラプラシアンの最小の非零固有値として、E(PX) ≤ (1−λ)^2 E(X) を証明する。
• 層間の線形写像の効果を限界づけるために、E(XW) ≤ ||W^T||_2^2 E(X) を示す。
• 活性化関数がリプシッツ定数 ≤ 1 を満たす場合、ReLU および Leaky ReLU を含む非線形性の処理を可能にするよう、E(σ(X)) ≤ E(X) を証明する。これにより ReLU の以外の非線形性にも対応可能になる。
• 主結果 E(f_l(X)) ≤ s_l ¯λ E(X) と、Corollary E(X^(l)) ≤ O((s ¯λ)^l) を導出し、エネルギーの指数関数的減衰を示す。

実験結果

リサーチクエスチョン

• RQ1 過剰平滑化は非線形活性化を持つ深い GNN において Dirichlet energy の指数関数的減衰を引き起こすか。
• RQ2 Dirichlet energy は ReLU を越える非線形 GNN の埋め込み表現力を、クリーンで一般化可能な尺度として提供できるか。
• RQ3 エッジ操作と埋め込み次元の変化は Dirichlet energy および過平滑化にどのような影響を与えるか。
• RQ4 Leaky ReLU や他の非線形性は Dirichlet-energy に基づく分析の下で扱えるか。

主な発見

• Dirichlet energy は特定の重みとスペクトル条件の下で層数とともに指数関数的に減少し、識別力の喪失につながる。
• Dirichlet-energy ベースのアプローチは Leaky ReLU へ拡張でき、埋め込み次元の変化にも対応する。
• 正則グラフに対しては、一般的な非線形性（ReLU 以外）にも適用でき、素朴な線代証明フレームワークを提供する。
• 様々なグラフの実験では、エッジを削除すると Dirichlet energy が上昇することが多く、いくつかのエッジ重みを非常に高い値に増やすとエッジ削除と同様の効果を得られる。