[論文レビュー] Incorporating Symmetry into Deep Dynamics Models for Improved Generalization

Rui Wang, Robin Walters+1 more|arXiv (Cornell University)|Feb 8, 2020

Model Reduction and Neural Networks参考文献 51被引用数 82

ひとこと要約

この論文は、深層ダイナミクスモデルに物理対称性（平行移動、回転、等速運動、スケーリング）を課す等価性ニューラルネットワークを導入し、乱流および海洋データの予測における一般化と物理的一貫性を向上させる。

ABSTRACT

Recent work has shown deep learning can accelerate the prediction of physical dynamics relative to numerical solvers. However, limited physical accuracy and an inability to generalize under distributional shift limit its applicability to the real world. We propose to improve accuracy and generalization by incorporating symmetries into convolutional neural networks. Specifically, we employ a variety of methods each tailored to enforce a different symmetry. Our models are both theoretically and experimentally robust to distributional shift by symmetry group transformations and enjoy favorable sample complexity. We demonstrate the advantage of our approach on a variety of physical dynamics including Rayleigh Bénard convection and real-world ocean currents and temperatures. Compared with image or text applications, our work is a significant step towards applying equivariant neural networks to high-dimensional systems with complex dynamics. We open-source our simulation, data, and code at \url{https://github.com/Rose-STL-Lab/Equivariant-Net}.

研究の動機と目的

• 物理系の深層ダイナミクス予測における一般化の向上の必要性を促す。
• 主要な物理対称性に対して等価であるニューラルアーキテクチャを開発する。
• 乱流および海洋データセットにおいて、一般化と物理的一貫性の向上を実証する。

提案手法

• 対称性群Gに対してfをG等価に定式化し、f(gx)=g f(x)となるようにする。
• ResNetとU-netにおいて、群表現（平行移動、回転はE(2)-CNN、等速運動は入力の中心化/シフト技法、スケールは拡大縮小群上の群相関を用いる）を用いた等価畳み込みを構築する。
• 解像度に依存しないスケール倍率と解像度依存の群相関を含むスケール等価手法を実装する。
• 等価性に関する理論的保証を提供し、データ拡張が冗長となる場合を検討する。
• Rayleigh–Bénard対流と実際の海洋の流れ/温度データで評価し、RMSEとエネルギースペクトル誤差(ESE)を測定する。

実験結果

リサーチクエスチョン

• RQ1 対称性をCNNアーキテクチャに組み込むことで、高次元の物理ダイナミクスの予測精度を向上させられるか。
• RQ2 変換（平行移動、回転、等速運動、スケーリング）によって生じる分布シフトに対して、等価性モデルは非等価ベースラインより一般化できるか。
• RQ3 空間・時間・大きさが結合する際、スケール関連の対称性が予測にどのように影響するか。
• RQ4 乱流や海洋におけるエネルギースペクトルなどの物理的一貫性指標に対する等価性の影響は何か。

主な発見

• 等価性モデルは非等価ベースラインと比較して等価性エラーを低減し、物理的一貫性を改善する。
• シミュレートされたRayleigh–Bénard対流では、Equ-ResNet/Unetモデルは変換されたテストセットでも精度を維持し、RMSEとESEでデータ拡張ベースラインを上回る。
• スケールを含む等価性（上/下方向のスケーリング）と回転ベースの等価性は、分布シフト下での一般化を著しく改善し、RMSEとESEをテスト全体で低減する。
• 拡張データなしで訓練した等価性モデルは、海洋の流れデータセットにおいてRMSEおよびESEの両方でデータ拡張ベースラインを上回るか同等である。