[論文レビュー] Learning Physical Dynamics with Subequivariant Graph Neural Networks

Jiaqi Han, Wenbing Huang+4 more|arXiv (Cornell University)|Oct 13, 2022

Computational Physics and Python Applications被引用数 10

ひとこと要約

本稿では、重力などの外部場下での物理的ダイナミクスをモデル化するために、完全なE(3)-等長性を部分的等長性に緩和した新しいGNNアーキテクチャ、Subequivariant Graph Neural Networks (SGNN)を提案する。オブジェクトに特化したメッセージパッシングと階層的処理を組み合わせることで、Physionでは接触予測精度が3%以上向上し、RigidFallではロールアウトMSEが2倍低減され、一般化性能とデータ効率に優れる。

ABSTRACT

Graph Neural Networks (GNNs) have become a prevailing tool for learning physical dynamics. However, they still encounter several challenges: 1) Physical laws abide by symmetry, which is a vital inductive bias accounting for model generalization and should be incorporated into the model design. Existing simulators either consider insufficient symmetry, or enforce excessive equivariance in practice when symmetry is partially broken by gravity. 2) Objects in the physical world possess diverse shapes, sizes, and properties, which should be appropriately processed by the model. To tackle these difficulties, we propose a novel backbone, Subequivariant Graph Neural Network, which 1) relaxes equivariance to subequivariance by considering external fields like gravity, where the universal approximation ability holds theoretically; 2) introduces a new subequivariant object-aware message passing for learning physical interactions between multiple objects of various shapes in the particle-based representation; 3) operates in a hierarchical fashion, allowing for modeling long-range and complex interactions. Our model achieves on average over 3% enhancement in contact prediction accuracy across 8 scenarios on Physion and 2X lower rollout MSE on RigidFall compared with state-of-the-art GNN simulators, while exhibiting strong generalization and data efficiency.

研究の動機と目的

• 外部場（重力など）の下で完全なE(3)-等長性を強制することで過学習を引き起こす既存のGNNベースのシミュレータの限界を是正すること。
• 特に対称性が部分的に破れる状況においても、物理的対称性をインダクティブバイアスとして組み込むが、過剰に制約を加えないこと。
• 異なる形状や素材の複数オブジェクト間の複雑で長距離に及ぶ相互作用を、粒子ベースの表現でモデル化すること。
• 多様で大規模なシナリオにおける物理的ダイナミクスの学習における一般化性能とデータ効率を向上させること。
• 部分的等長性を形式的に定義し、普遍近似能力を保ちつつ物理的制約を尊重する実装を可能とすること。

提案手法

• 外部場（重力など）の方向を保存する変換に制限された対称性群を用いる部分的等長性をE(3)-等長性の緩和として提案する。
• オブジェクトの識別子と幾何的構造を明示的に符号化する部分的等長性メッセージパッシングモジュールを設計し、内部および外部オブジェクト間の相互作用を区別する。
• 粒子のオブジェクト所属に基づいて処理を行うオブジェクトに特化したメッセージパッシング機構を導入し、形状および素材に配慮したダイナミクスモデル化を可能にする。
• 複数オブジェクトにまたがる長距離の依存関係や複雑な相互作用をモデル化するため、階層的GNNアーキテクチャを採用する。
• 理論的分析により、部分的等長性関数空間が対称性制約が緩和されても普遍近似能力を保持することを証明する。
• 微分可能な物理シミュレータ損失を用いて粒子軌道上でエンドツーエンドで学習し、一般化性能向上のためのデータ拡張を実施する。

実験結果

リサーチクエスチョン

• RQ1 重力などの外部場が存在する状況において、完全なE(3)-等長性よりも部分的等長性が物理的ダイナミクス学習に優れたインダクティブバイアスを提供できるか？
• RQ2 オブジェクトに特化したメッセージパッシングは、異なる形状や素材のオブジェクト間の相互作用モデリングをどのように改善できるか？
• RQ3 階層的メッセージパッシングは、大規模システムにおける長距離および複雑な物理的相互作用のモデリングをどのように向上させるか？
• RQ4 部分的等長性GNNは、微調整なしに未学習の物理的構成（回転や傾斜のあるシーンなど）に一般化できるか？
• RQ5 標準的な等長性または非等長性GNNと比較して、部分的等長性はデータ効率と一般化性能をどの程度向上させるか？

主な発見

• Physionベンチマークにおいて、8つの多様なシナリオで、最先端のGNNシミュレータと比較して平均3%以上の接触予測精度向上を達成した。
• RigidFallベンチマークでは、最良の既存のGNNベースのシミュレータと比較して、ロールアウト平均二乗誤差を2倍低減した。
• SGNNは、水平配置でのみ学習した場合でも、重力が垂直下向きのまま傾斜したテーブルなどの新規テストシナリオに効果的に一般化した。
• EGNNのような完全なE(3)-等長性モデルとは異なり、過剰に制約を受けてシーンの回転を認識できないが、SGNNは回転や傾斜のあるシーンでも重力駆動のダイナミクスを正しくシミュレートした。
• GNS や DPI などの非等長性モデルと比較して、SGNNは一般化性能で優れており、部分的等長性がインダクティブバイアスとモデル容量のバランスをより良くとれていることを示した。
• SGNNの学習曲線は安定した収束を示しており、重力下で完全なE(3)-等長性モデル（EGNNなど）で見られる学習不安定性を回避していることがわかった。