[論文レビュー] Dirichlet Energy Constrained Learning for Deep Graph Neural Networks

Kaixiong Zhou, Xiao Huang+5 more|arXiv (Cornell University)|Jul 6, 2021

Advanced Graph Neural Networks参考文献 51被引用数 39

ひとこと要約

本論文は、層ごとにDirichletエネルギーを調整することで深いGNNを可能にするDirichletエネルギー制約付き学習を導入し、直交重み制御・下限付き残差・Shifted ReLUを備えたEnergetic Graph Neural Networks（EGNN）を提案して、非常に深いグラフで最先端の結果を達成する。

ABSTRACT

Graph neural networks (GNNs) integrate deep architectures and topological structure modeling in an effective way. However, the performance of existing GNNs would decrease significantly when they stack many layers, because of the over-smoothing issue. Node embeddings tend to converge to similar vectors when GNNs keep recursively aggregating the representations of neighbors. To enable deep GNNs, several methods have been explored recently. But they are developed from either techniques in convolutional neural networks or heuristic strategies. There is no generalizable and theoretical principle to guide the design of deep GNNs. To this end, we analyze the bottleneck of deep GNNs by leveraging the Dirichlet energy of node embeddings, and propose a generalizable principle to guide the training of deep GNNs. Based on it, a novel deep GNN framework -- EGNN is designed. It could provide lower and upper constraints in terms of Dirichlet energy at each layer to avoid over-smoothing. Experimental results demonstrate that EGNN achieves state-of-the-art performance by using deep layers.

研究の動機と目的

• Dirichletエネルギー制約を用いて深いGNNの設計と学習を導く、一般化可能な原理を動機づけ、形式化する。
• 各層のDirichletエネルギーの境界を満たす深いGNNアーキテクチャ（EGNN）を開発し、過平滑化と過分離を緩和する。
• Dirichletエネルギー制約付き学習が既存の深層GNN技術を説明・統合できることを示す。
• 実証的に、EGNNが64層までの非常に深いアーキテクチャをサポートし、ベンチマークデータセットで競争力のある性能を示す。

提案手法

• ノード埋め込みのDirichletエネルギー E(X^(k)) を定義し、過平滑化と過分離を回避するために層間で下限・上限を設定する。
• Dirichletエネルギー制約付き学習を提案する： c_min E(X^(k-1)) <= E(X^(k)) <= c_max E(X^(0))、特徴変換 X^(0)=f(X) は訓練可能。
• 三つのコンポーネントを持つEGNNを設計する：(i) 特異値を制御し上限エネルギーを満たすように重み行列の直交初期化と正則化、(ii) 各層の最小エネルギーを維持する下限付き残差接続、(iii) 連続性と線形性のバランスを保ちながらエネルギー界を維持するShifted ReLU (SReLU) 活性化。
• 層間でエネルギーを境界内に保つよう、直交制御・残差・活性化を保証する補題・命題などの理論結果を提供する。
• エネルギー制約設計を既存の正規化、DropEdge、残差技術と比較し、この原理の一般性を示す。

実験結果

リサーチクエスチョン

• RQ1 深いGNNの設計と訓練を導く理論的で一般化可能な原理は存在するか。
• RQ2 過平滑化を避けつつ多くの層を積み重ねて最先端の性能を達成する深いGNNをどのように設計できるか。
• RQ3 原理的なエネルギー制約フレームワークは既存の深いGNN技術を説明・統合できるか。
• RQ4 EGNNは深いアーキテクチャでベンチマークデータセット全体にわたり安定した訓練と高性能を可能にするか。

主な発見

• EGNNは、特に深い層（最大64層）でベンチマーク上のノード分類性能を最先端または競争力のある水準で達成する。
• 各層のDirichletエネルギーが学習された下限・上限内にとどまり、制約付き学習原理を検証する。
• 直交重みの初期化と正則化はエネルギー境界の維持と深い訓練の実現に不可欠である。
• 下限付き残差接続とSReLU活性化はエネルギーを保持し、学習容量を犠牲にせず過平滑化を防ぐ。
• EGNNはCora、Pubmed、Coauthor-Physics、Ogbn-arxivでいくつかのベースラインを上回り、特に深い構成で優れる。
• アブレーション研究は、性能とエネルギー安定性のためにそれぞれのコンポーネント（直交初期化、下限付き残差、SReLU）の重要性を示している。