[論文レビュー] Variational Integrator Networks for Physically Structured Embeddings.

Steindór Sæmundsson, Alexander Terenin+2 more|arXiv (Cornell University)|Oct 21, 2019

Model Reduction and Neural Networks被引用数 14

ひとこと要約

この論文は、ハミルトニアンの原理に基づいて導かれた変分積分法——物理系の幾何構造を保存する数値解法——をディープラーニングに統合した、変分積分法ネットワーク（VINs）と呼ばれるニューラルネットワークアーキテクチャを導入する。この手法により、長期的な予測精度、解釈可能性、データ効率の良い学習が可能となり、ノイズや複雑さがある中でも、位相空間および画像ベースの力学系モデリングにおいて高い性能を達成する。

ABSTRACT

Learning workable representations of dynamical systems is becoming an increasingly important problem in a number of application areas. By leveraging recent work connecting deep neural networks to systems of differential equations, we propose variational integrator networks, a class of neural network architectures designed to preserve the geometric structure of physical systems. This class of network architectures facilitates accurate long-term prediction, interpretability, and data-efficient learning, while still remaining highly flexible and capable of modeling complex behavior. We demonstrate that they can accurately learn dynamical systems from both noisy observations in phase space and from image pixels within which the unknown dynamics are embedded.

研究の動機と目的

• 限られたデータやノイズの多いデータから、正確で一般化可能で解釈可能な力学系の表現を学ぶという課題に取り組む。
• 物理系の固有の幾何構造（例えば、シンプレクティック性、運動量保存）をニューラルネットワークアーキテクチャに維持する。
• 標準的なニューラルネットワークが構造的不一致のため失敗するような、複雑な力学系において、長期的な予測精度を実現する。
• 明示的な位相空間観測と画像データに埋め込まれた暗黙の力学を両方取り扱えるように、ディープラーニング手法を拡張する。

提案手法

• 離散力学に基づく構造保存型数値解法である変分積分法を、微分可能でニューラルネットワークのフレームワークに統合する。
• 離散的変分原理を用いてネットワークの更新則を定義し、学習された力学が元の物理的シンプレクティック幾何に適合することを保証する。
• 入力状態（または画像観測）を将来の状態にマッピングする、学習されたラグランジアンまたはエネルギーに基づく関数を用いる微分可能アーキテクチャを採用する。
• 変分積分法を逆誤差伝搬に適用して、構造保存を維持したまま、ネットワークをエンドツーエンドで学習する。
• 画像データは畳み込みエンコーダーを経て状態表現を抽出し、その後変分積分法モジュールに供給する。
• 構造保存型の更新則と微分可能な損失関数を組み合わせ、精度と物理的一致性の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 複雑な力学に柔軟に対応しつつ、物理系の幾何構造を保存するニューラルネットワークアーキテクチャを設計できるか？
• RQ2 ノイズやスパarsな観測から学習した場合、そのネットワークが長期予測にどの程度一般化できるか？
• RQ3 明示的な状態の教師信号なしに、生の画像ピクセルから動的を学習できるか、その範囲はどの程度か？
• RQ4 構造保存が、標準的なニューラルODEやベースラインネットワークと比較して、データ効率とロバストネスを向上させるか？

主な発見

• 変分積分法ネットワークは、ベンチマークとして用いられる力学系において、標準的なニューラルODEやベースラインネットワークよりも顕著に高い長期的予測精度を達成する。
• 本手法は、より少ない、ノイズの多いトレーニング軌道からも、意味のある力学を学習するという優れたデータ効率性を示す。
• VINsは、高次元の視覚的データに埋め込まれた動的を、画像系列からも効果的に回復する。
• 幾何構造の保存により、長時間にわたり安定で物理的に妥当な軌道が得られ、標準的なアーキテクチャで見られるドリフトを回避する。
• 物理的原理をネットワークのインダクティブバイアスに直接組み込むことで、解釈可能性を維持する。
• 実験的結果から、VINsは、特に低データ環境下において、位相空間および画像ベースの学習設定の両方で強力なベースラインを上回る性能を示す。