[論文レビュー] ACMP: Allen-Cahn Message Passing with Attractive and Repulsive Forces for Graph Neural Networks

Yuelin Wang, Kai Yi+3 more|arXiv (Cornell University)|Jun 11, 2022

Machine Learning in Materials Science被引用数 7

ひとこと要約

ACMPは、引力と斥力を持つ相互作用粒子系と、トレーニングの安定化に寄与するアレン＝コーエン二重井戦ポテンシャルを組み合わせた、新しいグラフニューラルネットワークのメッセージスティングメカニズムを提案する。ディリクレエネルギーに厳密に正の下限を保証することで過剰平滑化を防ぎ、128層に達する深層GNNを実現し、同型および異型のノード分類ベンチマークで最先端の性能を達成する。

ABSTRACT

Neural message passing is a basic feature extraction unit for graph-structured data considering neighboring node features in network propagation from one layer to the next. We model such process by an interacting particle system with attractive and repulsive forces and the Allen-Cahn force arising in the modeling of phase transition. The dynamics of the system is a reaction-diffusion process which can separate particles without blowing up. This induces an Allen-Cahn message passing (ACMP) for graph neural networks where the numerical iteration for the particle system solution constitutes the message passing propagation. ACMP which has a simple implementation with a neural ODE solver can propel the network depth up to one hundred of layers with theoretically proven strictly positive lower bound of the Dirichlet energy. It thus provides a deep model of GNNs circumventing the common GNN problem of oversmoothing. GNNs with ACMP achieve state of the art performance for real-world node classification tasks on both homophilic and heterophilic datasets. Codes are available at https://github.com/ykiiiiii/ACMP.

研究の動機と目的

• ノード特徴量が過剰な集約により区別できなくなる、深層グラフニューラルネットワークにおける過剰平滑化問題に対処すること。
• 異なるクラスのノードが接続される異型グラフにおいて、従来のGNNが有する限界を克服すること。
• 深層伝達中に特徴量の多様性とエネルギーの安定性を維持するメッセージスティングメカニズムを開発すること。
• ディリクレエネルギーに理論的根拠に基づく有界性（下限）を保証し、発散を回避するとともに収束を確保する、深層GNN（最大128層）を実現すること。

提案手法

• ノード特徴量を、凝集（引力）と分離（斥力）に駆動され、アレン＝コーエンポテンシャル（相転移制御）によって制御される動的系内の粒子としてモデル化する。
• メッセージスティングプロセスを、粒子系のダイナミクスを解くニューラルODEとして定式化し、DOPRI5の適応的ステップサイズソルバーを用いる。
• ディリクレエネルギーの発散を防ぎ、厳密に正の下限を保証するため、アレン＝コーエン項（レイリー摩擦）を組み込む。
• 特徴量の滑らかさとクラスタ間分離のバランスを取るために反応拡散系を用い、二クラスタのフロッキング行動を可能にする。
• 学習可能なパラメータβ、時間T、および力の強度を用いて、自己特徴量の保持と隣接ノードへの影響のトレードオフを制御する。
• 単一のニューラルODEソルバーを用いてモデルを実装することで、エンドツーエンドのトレーニングとスケーラブルな深層ネットワーク構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 引力と斥力を持つ粒子系に加え、アレン＝コーエンダイナミクスを組み合わせることで、深層グラフニューラルネットワークの安定化と過剰平滑化の防止が可能か？
• RQ2 アレン＝コーエン項がディリクレエネルギーに厳密に正の下限を保証するか？ これにより、深層GNNにおける特徴量の崩壊を回避できるか？
• RQ3 ACMPは、極めて深い深さにおいても、同型および異型グラフベンチマークで高い性能を維持できるか？
• RQ4 アレン＝コーエンポテンシャルの導入が、トレーニング中の数値的安定性および特徴量の大きさに与える影響は？
• RQ5 GCN、GAT、GraphSageと比較して、より少ないパラメータで最先端の性能を達成できるか？

主な発見

• ACMPは、深さ4においてCorA（83.87% ± 0.52%）、Citeseer（74.61% ± 1.04%）、PubMed（79.74% ± 0.24%）で、GCN、GAT、GraphSage、GRANDを上回る最先端のテスト精度を達成した。
• 深さ128においても、CorAでは80.30%、Citeseerでは67.83%のテスト精度を維持し、深さに起因する頑健性と過剰平滑化の回避を示した。
• ACMPのディリクレエネルギーは、厳密に正の下限を持つことが証明されており、極めて深い深さにおいても特徴量が一様化しないことを保証する。
• アレン＝コーエン項が存在しない場合、T=30でノード特徴量が1×10^20に発散するが、同項を含めると特徴量は±1付近に安定化し、数値的失敗を回避する。
• CorAではACMPはわずか17kのパラメータで実現され、GCN（144k）、GAT（230k）、GraphSage（200k）と比較して顕著なパラメータ効率を示した。
• アブレーションスタディにより、アレン＝コーエン項が安定性に不可欠であることが確認された。同項がなければ、斥力が特徴量の無限大への増大を引き起こし、トレーニングが不可能になる。