[論文レビュー] Variational Integrator Networks for Physically Meaningful Embeddings.

Steindór Sæmundsson, Alexander Terenin+2 more|arXiv (Cornell University)|Oct 21, 2019

Model Reduction and Neural Networks被引用数 7

ひとこと要約

この論文は、ラグランジュ力学から導かれた変分積分法——物理系の幾何構造を保存する数値的手法——を組み込んだ、新しいニューラルネットワークアーキテクチャ、変分積分法ネットワーク（VINs）を紹介する。シンプレクティック性および運動量保存性を強制することで、VINsは長期的な予測の正確性、データ効率の良い学習、解釈可能性を実現し、位相空間および画像ベースの力学系モデリングの両方で高い性能を達成する。

ABSTRACT

Learning workable representations of dynamical systems is becoming an increasingly important problem in a number of application
 areas. By leveraging recent work connecting deep neural networks to systems of differential equations, we propose variational
 integrator networks, a class of neural network
 architectures designed to preserve the geometric structure of physical systems. This
 class of network architectures facilitates accurate long-term prediction, interpretability,
 and data-efficient learning, while still remaining highly flexible and capable of modeling
 complex behavior. We demonstrate that they
 can accurately learn dynamical systems from
 both noisy observations in phase space and
 from image pixels within which the unknown
 dynamics are embedded.

研究の動機と目的

• 限られたデータやノイズの多いデータから力学系の物理的に意味のある表現を学ぶ課題に対処すること。
• 幾何力学の原則を組み込むことで、標準的なディープラーニングモデルの長期予測や解釈可能性における限界を克服すること。
• シンプレクティック性および運動量保存性を維持するが、柔軟性を備えた構造を保存するニューラルネットワークアーキテクチャを開発すること。
• 画像ピクセルなどの複雑な観測からエンドツーエンドの学習を可能にし、それらの背後にある物理法則を保持すること。
• 疎な測定値や間接的な測定値からの未知の力学系モデリングにおいて、データ効率と一般化性能を向上させること。

提案手法

• 離散力学から導かれる構造保存型数値スキームである変分積分法を、ディープニューラルネットワークアーキテクチャに統合すること。
• 離散オイラー＝ラグランジュ方程式に基づく微分可能損失関数を定義し、幾何的不変量を保存しながらネットワークを学習させること。
• ニューラルネットワークを用いて離散ラグランジアンをパラメータ化することで、複雑な力学の柔軟なモデリングを可能にすること。
• 観測された軌道に沿って勾配降下法でネットワークを学習させ、学習された力学が物理的構造を尊重することを保証すること。
• 画像エンコーダーをネットワークに組み込むことで、画像ピクセルを含む生の観測からエンドツーエンドの学習を可能にすること。
• ネットワーク層内での離散変分積分法の設計により、運動量およびシンプレクティック構造の保存を強制すること。

実験結果

リサーチクエスチョン

• RQ1 柔軟性を保ちながらも物理系の幾何的構造を保存するニューラルネットワークアーキテクチャを設計することは可能か？
• RQ2 変分積分法の構造を強制することで、力学系における長期予測の正確性はどのように向上するか？
• RQ3 このようなネットワークは、ノイズの多い位相空間データや画像ベースの観測からどれほど効果的に学習できるか？
• RQ4 構造保存設計は、標準的なニューラルネットワークと比較して、データ効率および一般化性能を向上させるか？
• RQ5 ピクセルのような間接的観測から学習された力学は、物理的に意味のあるものとして解釈可能か？

主な発見

• VINsは、シンプレクティック性および運動量保存性を有する構造のおかげで、標準的なニューラルネットワークよりも著しく正確な長期予測を達成する。
• 本手法はデータ効率の良い学習を可能にし、限られたまたはノイズの多い軌道観測でも良好な性能を発揮する。
• VINsは画像ピクセルから力学系を効果的に学習でき、間接的かつ高次元の観測に対しても頑健であることを示した。
• アーキテクチャは物理的一致性を維持し、解釈可能で物理的に意味のある力学を生成する。
• エネルギーのずれが標準モデルで一般的な長時間の統合時間でも、ネットワークの性能は安定している。
• 軌道誤差および不変量の保存という指標で測定したところ、VINsは位相空間および画像ベースの学習ベンチマークの両方でベースラインモデルを上回った。