[論文レビュー] E(n) Equivariant Graph Neural Networks

Victor García Satorras, Emiel Hoogeboom+1 more|arXiv (Cornell University)|Feb 19, 2021

Machine Learning in Materials Science参考文献 37被引用数 105

ひとこと要約

EGNN は、球面調和関数に頼らずに平行移動・回転・反射・置換の等変性を保つように座標と特徴を更新する E(n)-等変グラフニューラルネットワークを導入し、より高次元へスケールします。

ABSTRACT

This paper introduces a new model to learn graph neural networks equivariant to rotations, translations, reflections and permutations called E(n)-Equivariant Graph Neural Networks (EGNNs). In contrast with existing methods, our work does not require computationally expensive higher-order representations in intermediate layers while it still achieves competitive or better performance. In addition, whereas existing methods are limited to equivariance on 3 dimensional spaces, our model is easily scaled to higher-dimensional spaces. We demonstrate the effectiveness of our method on dynamical systems modelling, representation learning in graph autoencoders and predicting molecular properties.

研究の動機と目的

• E(n) 変換（回転、平行移動、反射）および置換に等変であるグラフニューラルネットワークを動機づけ、設計する。
• 高次表現のコストを抑えつつ競争力のある性能を維持する。
• ダイナミカルなシステム、グラフオートエンコーダ、および QM9 における分子特性予測で有効性を示す。
• 次元数 n > 3 の空間へスケーラブルで、既存の等変法と比較する。

提案手法

• ノード特徴 h^l、座標 x^l、およびエッジ情報 E を処理する等変グラフ畳み込み層（EGCL）を導入する。
• エッジ更新は m_{ij} = φ_e(h_i^l, h_j^l, ||x_i^l - x_j^l||^2, a_{ij}) を用いて行う。
• 座標更新は x_i^{l+1} = x_i^l + C sum_{j≠i} (x_i^l - x_j^l) φ_x(m_{ij}) で、C = 1/(M-1)。
• メッセージを集約して m_i = sum_j m_{ij} を形成し、ノード特徴 h_i^{l+1} = φ_h(h_i^l, m_i) を更新する。
• 任意で粒子運動量を組み込むには v_i^{l+1} = φ_v(h_i^l) v_i^{init} +… および x_i^{l+1} = x_i^l + v_i^{l+1}。
• adj が提供されない場合に φ_inf によってエッジを推定するメカニズムを含め、ソフトエッジ値を生成する。

実験結果

リサーチクエスチョン

• RQ1 EGNN は、球面調和関数や高次表現に頼らず、E(n)（SE(3) を含む反射を含む）等変性を達成できるのか。
• RQ2 EGNN は、動的、オートエンコーダ、分子タスク全般で非等変な GNN や既存の E(3)-等変モデルと比較して性能を維持または向上させるのか。
• RQ3 3D を超える高次元空間へのスケーラビリティを保ちつつ計算効率を維持できるのか。
• RQ4 エッジおよびノード更新における座標および特徴メッセージの組み込みがデータ効率と予測精度にどう影響するのか。
• RQ5 明示的なグラフがなくてもエッジを瞬時に推定して等変性を保てるのか。

主な発見

• EGNN は、非等変 GNN および一部の等変ベースラインと比較して、ダイナミック N-body タスク、グラフオートエンコーディング、および QM9 分子予測で競争力のあるまたは優れた性能を達成する。
• 3D の荷電粒子 N-body データセットでは、EGNN は一覧されている手法の中で最も低い MSE (0.0071) を達成し、いくつかの高コストな等変モデルよりも速い。
• モデルは翻訳・回転・反射に対して E(n) 等変であり、球面調和関数に頼らず高次元へスケーラブルである。
• グラフオートエンコーダ設定では、EGNN はエッジ再構成指標を GNN 変種より大幅に改善し、平行移動/回転で対称性を破るノイズを扱える。
• QM9 ベンチマークで、EGNN は分子特性の平均絶対誤差で競争力のある結果を達成し、主要指標でいくつかのベースラインを上回る（例：α の MAE ≈ 0.071）。
• EGNN は adjacency が提供されない場合にグラフ接続性を学習するエッジ推定メカニズムをサポートしつつ、E(n) 等変性を保つ。