[論文レビュー] Gradient Gating for Deep Multi-Rate Learning on Graphs

T. Konstantin Rusch, Benjamin Paul Chamberlain+3 more|arXiv (Cornell University)|Oct 2, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、多レートのメッセージパッシングを可能にし、局所的な勾配を用いて過剰平滑化を防ぐことで、グラフニューラルネットワーク（GNN）を向上させる、新しいフレームワークである勾配ゲーティング（G²）を紹介する。任意の標準的なGNNレイヤーを、ノード固有のレートと勾配によって制御される学習可能なゲートでラッピングすることで、G²は非常に深いGNNの学習を可能にし、異種性の高いグラフベンチマーク、特に大規模データセットにおいて最先端の性能を達成する。

ABSTRACT

We present Gradient Gating (G$^2$), a novel framework for improving the performance of Graph Neural Networks (GNNs). Our framework is based on gating the output of GNN layers with a mechanism for multi-rate flow of message passing information across nodes of the underlying graph. Local gradients are harnessed to further modulate message passing updates. Our framework flexibly allows one to use any basic GNN layer as a wrapper around which the multi-rate gradient gating mechanism is built. We rigorously prove that G$^2$ alleviates the oversmoothing problem and allows the design of deep GNNs. Empirical results are presented to demonstrate that the proposed framework achieves state-of-the-art performance on a variety of graph learning tasks, including on large-scale heterophilic graphs.

研究の動機と目的

• 深層GNNにおける過剰平滑化問題に寄与する、ノード特徴量が層をまたいで同一値に収束する現象を解消すること。
• ノード特徴量が近隣と異なる異種性の高いグラフにおいて、ノードごとに異なる更新レートを許容することで、効率的な学習を可能にすること。
• 既存のMPNNと互換性がある柔軟でプラグイン可能なフレームワークを通じて、GNNの一般化性能とスケーラビリティを向上させること。
• 連続的力学系の分析を通じて、勾配ゲーティングが過剰平滑化を防ぐことを厳密に証明すること。
• 合成データ、ベンチマーク、大規模な異種性の高いグラフデータセットに対してG²を実証的に検証し、優れた性能を示すこと。

提案手法

• G²は、各ノードの更新が学習可能なレートゲートによって制御される多レートのメッセージパッシング機構を導入し、グラフ全体で異なる伝搬速度を実現する。
• フレームワークは、損失関数からの局所的勾配を用いてゲーティング機構を動的に制御し、学習中に特徴表現の安定性を高める。
• GCN、GAT、GINなどの任意の標準的なGNNレイヤーを、基本となる結合関数として使用可能であり、G²はプラグイン型の拡張である。
• 本手法は非線形常微分方程式（ODE）系の時間離散化として解釈可能であり、安定性および過剰平滑化に関する理論的分析を可能にする。
• G²の連続極限が導出され、これにより勾配ゲーティングがディリクレエネルギーの崩壊を防ぐことが証明される。ディリクレエネルギーの崩壊は、過剰平滑化の主要な指標である。
• ゲートとモデルパラメータを同時に最適化するため、標準的なバックプロパゲーションを用いてエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 多レートのメッセージパッシング機構は、深層GNNにおける過剰平滑化を防げるか？
• RQ2 ゲーティング機構に局所的勾配を組み込むことで、特徴表現の安定性が向上し、一般化性能が向上するか？
• RQ3 G²は大規模な異種性の高いグラフデータセットにおいて最先端の性能を達成できるか？
• RQ4 G²には連続的力学系としての解釈があり、その安定性に関する厳密な理論的分析が可能か？
• RQ5 多レートゲーティング機構は、特徴量スケールが不均一なノード回帰および分類タスクにおける性能にどのように影響を与えるか？

主な発見

• G²は、連続ODE系の安定性解析により、数百層にわたる場合でもディリクレエネルギーが一定に保たれることを証明し、過剰平滑化を防止する。
• フレームワークにより、精度が深さに応じて向上する非常に深いGNNの学習が可能となり、過剰平滑化が抑制されれば深さが有益であることが示された。
• 複数のスケールにわたる特徴量を有するノード回帰タスクでは、G²がマルチレート機構のおかげでベースラインを著しく上回る性能を示した。
• 異種性の高いグラフにおいて、G²は最先端の性能を達成し、異種性が高くなるほど性能向上が顕著に現れた。
• 大規模な異種性の高いグラフデータセットにおける実証的評価では、G²は最近の最先端手法（過剰圧縮や過剰平滑化の緩和に特化した手法を含む）を常に上回った。
• 理論的分析により、勾配ゲーティングがなければシステムが過剰平滑化に陥りやすいことが確認され、提案手法の必要性が裏付けられた。