[論文レビュー] Equivariant Graph Hierarchy-Based Neural Networks

Jiaqi Han, Wenbing Huang+2 more|arXiv (Cornell University)|Feb 22, 2022

Protein Structure and Dynamics被引用数 6

ひとこと要約

本論文は、一般化された等長的行列メッセージスイーピング（EMMP）、ユークリッド対称性を保持しながらノード特徴量を粗くするためのE-Pool、および高レベルのダイナミクスを用いて低レベル表現を精緻化するためのE-UnPoolを導入することで、等長的グラフニューラルネットワークを強化する階層的メッセージスイーピングフレームワークである等長的グラフ階層型ニューラルネットワーク（EGHN）を提案する。EGHNは、タンパク質ダイナミクス、モーションキャプチャ、合成N体シミュレーションを含むマルチボディ物理系において、対称性を保った階層構造を用いることで、精度の向上と部分構造の発見を実現し、最先端の性能を達成している。

ABSTRACT

Equivariant Graph neural Networks (EGNs) are powerful in characterizing the dynamics of multi-body physical systems. Existing EGNs conduct flat message passing, which, yet, is unable to capture the spatial/dynamical hierarchy for complex systems particularly, limiting substructure discovery and global information fusion. In this paper, we propose Equivariant Hierarchy-based Graph Networks (EGHNs) which consist of the three key components: generalized Equivariant Matrix Message Passing (EMMP) , E-Pool and E-UpPool. In particular, EMMP is able to improve the expressivity of conventional equivariant message passing, E-Pool assigns the quantities of the low-level nodes into high-level clusters, while E-UpPool leverages the high-level information to update the dynamics of the low-level nodes. As their names imply, both E-Pool and E-UpPool are guaranteed to be equivariant to meet physic symmetry. Considerable experimental evaluations verify the effectiveness of our EGHN on several applications including multi-object dynamics simulation, motion capture, and protein dynamics modeling.

研究の動機と目的

• 既存の等長的グラフニューラルネットワーク（EGN）におけるフラットなメッセージスイーピングの限界に対処すること。これは、複雑なマルチボディ系における空間的・ダイナミカルな階層を捉えられていない。
• ユークリッド等長性を保ちつつ、タンパク質の二次構造や剛体機械部品などの物理系の部分構造をエンドツーエンドで学習可能にすること。
• 平行移動、回転、反転に対して等長性を維持する階層的メッセージスイーピング機構を設計し、スケールをまたいで物理的整合性を保証すること。
• 対称的なプーリングとアンプーリングを用いたエンコーダ・デコーダレベルにネットワークを構造化することで、グローバルな情報統合とローカルなダイナミクスモデリングを向上させること。
• 階層的設計、等長性、および専用のメッセージスイーピングの必要性と有効性を、実世界および合成的な物理系モデリングタスクにおいて検証すること。

提案手法

• 従来のベクトルベースのメッセージスイーピングを行列値のメッセージに拡張する一般化された等長的行列メッセージスイーピング（EMMP）を提案。これにより、標準的なEGNNを上回る表現力が得られる。
• 学習されたアテンションに基づいて低レベルのノードをクラスタにグループ化する微分可能でE(n)-等長性を保つプーリング層であるE-Poolを導入。幾何的対称性が保持される。
• アテンションと逆クラスタリングを用いて、プールされた高レベル表現から細粒度のノード特徴量を再構成する対称的なアンプーリング操作であるE-UnPoolを設計。
• EMMPにおいて内部（ローカル）および外部（グローバル）のメッセージスイーピングに別々の隣接行列を採用。これにより、クラスタ内およびクラスタ間の相互作用を別々にモデリング可能となる。
• 訓練中に接続性損失を用いて、E-Poolがクラスタ内接続を保持し、クラスタ間エッジを抑制するよう促進。これにより構造的整合性が向上する。
• EGHNをエンコーダ・デコーダフレームワークとしてアーキテクチャ化。エンコーダはE-PoolとEMMPを適用して細粒度から粗粒度へ移行し、デコーダはE-UnPoolとEMMPを用いて細粒度のダイナミクスを再構成する。

実験結果

リサーチクエスチョン

• RQ1 EGNにおけるフラットなメッセージスイーピングと比較して、階層的メッセージスイーピングは、複雑な物理系のモデリングにおいてどのように向上をもたらすか？
• RQ2 プーリングおよびアンプーリング操作におけるE(n)-等長性の維持は、マルチボディダイナミクスにおける一般化性能および物理的整合性をどの程度向上させるか？
• RQ3 EMMPの行列ベースのメッセージスイーピングは、ベクトルベースの代替手法と比較して、トポロジー的・ダイナミカルな複雑性をどの程度よく捉えられるか？
• RQ4 EMMPにおけるグローバルおよびローカルの隣接行列を別々に使用することの性能および構造的学習への影響は何か？
• RQ5 接続性損失およびクラスタ数（K）の影響は、部分構造の発見品質および予測精度にどのような影響を及えるか？

主な発見

• M-complexシステムベンチマークでは、EGHNはベースラインのEGNよりも顕著に低い予測誤差を達成し、階層的物理系における優れた一般化性能とダイナミクスモデリングを示している。
• 人間のモーションキャプチャデータセットでは、EGHNは35番目の被験者における歩行で8.5 MSE（×10⁻²）を達成し、ランニングでは25.9 MSEを記録。EGNNやMPNNを含むすべてのベースラインを上回った。
• タンパク質ダイナミクスにおいては、EGHNはαヘリックスの折りたたみをよく追跡しており、可視化結果ではMPNNやEGNNと比較して真値からのずれが著しく小さいことが示された。
• アブレーションスタディでは、非等長性をもつMPNNを用いることで誤差が19.7 MSEに上昇し、等長性が性能に不可欠であることを実証した。
• 階層的設計を削除した場合（w/o hierarchy）の誤差は21.9 MSEに上昇し、複雑な運動学的構造をモデリングする上で階層構造が極めて重要であることを確認した。
• すべてのEMMPレイヤーで単一の隣接行列を使用した場合、グローバルおよびローカルのスコープを区別しないことで顕著な性能低下が生じ、スコープに意識的なメッセージスイーピングの重要性が裏付けられた。