[論文レビュー] Approximately Equivariant Networks for Imperfectly Symmetric Dynamics

Rui Wang, Robin Walters+1 more|arXiv (Cornell University)|Jan 28, 2022

Model Reduction and Neural Networks被引用数 11

ひとこと要約

本論文は、現実世界の力学的システムにおける不完全な対称性をよりよくモデル化するため、ニューラルネットワークにおける厳密な対称性制約を緩和する近似的等変換ネットワークを提案する。群畳み込みおよびステアブル畳み込みにおける重み共有の一般化により、模擬煙流および実際のジェット流れのデータにおいて、厳密な等変換モデルおよび非等変換モデルを上回る優れた性能を達成し、不完全な対称性を持つ設定において一般化性能とロバスト性が向上することを示している。

ABSTRACT

Incorporating symmetry as an inductive bias into neural network architecture has led to improvements in generalization, data efficiency, and physical consistency in dynamics modeling. Methods such as CNNs or equivariant neural networks use weight tying to enforce symmetries such as shift invariance or rotational equivariance. However, despite the fact that physical laws obey many symmetries, real-world dynamical data rarely conforms to strict mathematical symmetry either due to noisy or incomplete data or to symmetry breaking features in the underlying dynamical system. We explore approximately equivariant networks which are biased towards preserving symmetry but are not strictly constrained to do so. By relaxing equivariance constraints, we find that our models can outperform both baselines with no symmetry bias and baselines with overly strict symmetry in both simulated turbulence domains and real-world multi-stream jet flow.

研究の動機と目的

• 現実世界の力学的システムではほとんど常に完全な対称性が成立しないという、従来の等変換ネットワークの制限を解決すること。
• 厳密な等変換と対称性バイアスなしの中間として、近似的等変換の概念を形式化すること。
• 対称性破壊要因（ノイズや境界効果など）が存在する状況でも、有益な誘導的バイアスを維持しつつモデル表現力を保つ柔軟なフレームワークを開発すること。
• 特に流体流れ予測において、不完全な対称性を持つ力学的システムにおける予測性能の向上を実証すること。
• SO(2)、R>0、E(2)を含む複数の対称性群に一般化可能な緩和メカニズムを提供すること。

提案手法

• 厳密な等変換と対称性バイアスなしの間を滑らかに補間する近的等変換の形式的定義を導入すること。
• 群畳み込みにおける重み共有を緩和し、カーネルを複数のフィルターバンクの重み付き和として表現することで、部分的な対称性の強制を可能にすること。
• ステアブル畳み込みニューラルネットワークに入力依存のカーネル基底学習を導入し、対称性行動の動的適応を可能にすること。
• 回転（SO(2)）、スケーリング（R>0）、ユークリッド（E(2)）変換の複数の対称性群に、緩和された重み共有を適用すること。
• 残留パスにソフトな事前分布を適用して、対称性バイアスとモデルの柔軟性のバランスを取ること。
• データから自動的に適切な対称性の度合いを学習できる学習可能で緩和可能なメカニズムを導入すること。

実験結果

リサーチクエスチョン

• RQ1 厳密な等変換制約を緩和することで、不完全な対称性を持つ現実世界の力学的システムにおける一般化性能と予測精度が向上するか？
• RQ2 不完全な対称性を持つデータにおいて、近的等変換は、厳密な等変換モデルおよび非等変換モデルと比較して予測性能で優れているか？
• RQ3 提案された緩和メカニズムは、回転、スケーリング、ユークリッド変換などの異なる対称性群に一般化可能か？
• RQ4 対称性破壊要因の事前知識なしに、モデルがデータから適切な対称性レベルを自動で学習できるか？
• RQ5 複数の対称性（例：並進、回転、スケーリング）の緩和を同時に組み合わせることで、さらなる性能向上が得られるか？

主な発見

• 提案された近的等変換ネットワークは、模擬煙プラウムデータにおいて、厳密な等変換モデルおよび非等変換ベースラインを上回り、速度場予測における平均絶対誤差（MAE）が低かった。
• 実験的ジェット流れデータでは、緩和されたステアブルCNNおよび緩和された群畳み込みモデルが最も低いRMSEを達成し、RSteerTR（複合緩和）が単一緩和モデルおよび完全に等変換なモデルを上回った。
• ジェット流れ実験では、緩和モデルが最良のベースライン比でRMSEを最大15%まで低減し、現実応用への顕著な利点を示した。
• 合成的および現実世界の流体力学ベンチマークにおいて、本手法は最先端の性能を達成した。特に境界条件や欠損データといった対称性破壊要因が存在する状況で顕著な優位性を示した。
• 海洋動力学の実験では、ファインチューニング後、すべてのモデルで類似した性能を示したため、厳密または近的回転対称性が、もともと弱いか自然に近似されている系では利点を示さない可能性があることが示唆された。
• アブレーションスタディにより、並進、回転、スケーリングなどの複数の対称性制約を同時に緩和することで、1つの制約のみを緩和する場合よりも優れた性能が得られることを確認した。