[論文レビュー] Anti-Symmetric DGN: a stable architecture for Deep Graph Networks

Alessio Gravina, Davide Bacciu+1 more|arXiv (Cornell University)|Oct 18, 2022

Advanced Graph Neural Networks被引用数 14

ひとこと要約

本稿では、常微分方程式（ODE）から導かれた安定で非散逸的な深層グラフネットワークのアーキテクチャである、反対称深層グラフネットワーク（A-DGN）を提案する。ODE定式化において反対称重み行列を強制することで、A-DGNは長距離依存関係を保持し、勾配消失や勾配爆発を防ぎ、数十層の深さでも有効に学習可能となり、複数のベンチマークで標準的なDGNを上回る性能を発揮する。

ABSTRACT

Deep Graph Networks (DGNs) currently dominate the research landscape of learning from graphs, due to their efficiency and ability to implement an adaptive message-passing scheme between the nodes. However, DGNs are typically limited in their ability to propagate and preserve long-term dependencies between nodes, i.e., they suffer from the over-squashing phenomena. This reduces their effectiveness, since predictive problems may require to capture interactions at different, and possibly large, radii in order to be effectively solved. In this work, we present Anti-Symmetric Deep Graph Networks (A-DGNs), a framework for stable and non-dissipative DGN design, conceived through the lens of ordinary differential equations. We give theoretical proof that our method is stable and non-dissipative, leading to two key results: long-range information between nodes is preserved, and no gradient vanishing or explosion occurs in training. We empirically validate the proposed approach on several graph benchmarks, showing that A-DGN yields to improved performance and enables to learn effectively even when dozens of layers are used.

研究の動機と目的

• 深層グラフネットワーク（DGN）における過剰圧縮問題に対処すること。これは、深層アーキテクチャにおける長距離情報伝達を制限する。
• 連続的なODE定式化を用いて、グラフニューラルネットワークの安定で非散逸的なメッセージパッシング機構を設計すること。
• バックプロパゲーション中に勾配消失や勾配爆発を防ぐことで、DGNの多数の層での有効な学習を可能にすること。
• 反対称重み行列を用いた理論的基盤を提供し、グラフ上での安定で保存的なODEダイナミクスを確立すること。
• 標準的なDGNが劣化するのに対し、A-DGNが深層アーキテクチャでも性能を維持することを実証的に検証すること。

提案手法

• ノードごとの動的挙動を、グラフ構造状態上で定義された関数 f_G を用いて、グラフのメッセージパッシングプロセスを連続的なODE系として定式化する。
• メッセージパッシング関数に反対称重み行列を用いることで、ODEにおける安定性と非散逸性を確保する。
• 得られた安定なODEを前進オイラー離散化によりA-DGN層に導出し、離散アーキテクチャにおける数値的安定性を保証する。
• 理論的分析により、ODE系が安定で非散逸的であることが証明され、学習中に勾配の爆発や消失が発生しないことが保証される。
• このフレームワークにより、古典的なDGNを非散逸的ODE上の離散近似として再解釈・拡張可能である。
• 本手法は任意の標準的なDGNアーキテクチャと互換性があり、深さスケーラビリティを向上させるためのプラグインモジュールとして適用可能である。

実験結果

リサーチクエスチョン

• RQ1 グラフのメッセージパッシングをODEベースで定式化することで、安定で非散逸的なダイナミクスが得られ、長距離依存関係が保持されるか？
• RQ2 ODE系に反対称重み行列を強制することで、深層グラフネットワークにおけるバックプロパゲーション中に勾配安定性が確保されるか？
• RQ3 標準的なDGNが過剰圧縮に苦しむのに対し、A-DGNは数十層の積み重ねに対しても性能を維持または向上させられるか？
• RQ4 長距離相互作用を要するグラフベンチマークにおいて、A-DGNは古典的DGNをどの程度上回るか？
• RQ5 DGNのODE定式化を、過剰平滑化や過剰圧縮を軽減する連続的・保存的プロセスとして再解釈できるか？

主な発見

• A-DGNは、PubMed、Coauthor CS、Amazon Photoの複数のグラフベンチマークで最先端の性能を達成しており、50層以上でも有効である。
• Coauthor CSデータセットでは、A-DGNは50層で91.35%の精度を維持するが、GCN、GAT、GraphSAGE、GINは同条件で24.5%から78.2%の性能低下を示す。
• A-DGNは、すべてのデータセットでパラメータフリーのベースラインDGCを上回り、その改善が単なるパラメータ効率性ではなく、アーキテクチャの安定性に起因することを示している。
• 特にマルチホップ近傍情報が必要なタスクにおいて、長距離依存関係のモデル化において一貫した性能向上を実現している。
• ベースモデルにGCNを用いたA-DGNは、Coauthor Physicsで93.27%の精度を達成し、最高のベースライン（GCNII：92.97%）を上回り、深さにわたる頑健性を示している。
• アブレーションスタディにより、反対称重み制約が安定性にとって不可欠であることが確認され、これを除去すると深さに伴い性能が劣化する。