[論文レビュー] Unsupervised Learning of Lagrangian Dynamics from Images for Prediction and Control

Yaofeng Desmond Zhong, Naomi Ehrich Leonard|arXiv (Cornell University)|Jul 3, 2020

Computational Physics and Python Applications被引用数 10

ひとこと要約

本論文は、平面剛体系の画像観測から、解釈可能な一般化座標とラグランジュ力学を同時に学習する教師なし深層学習フレームワークを提案する。座標に敏感な変分オートエンコーダ（VAE）とラグランジュ力学モデルを組み合わせることで、画像空間における高精度な長期予測とエネルギーベースの制御則の合成を可能にし、予測および制御タスクの両方でベースラインを上回る性能を発揮しながらも、物理的解釈可能性を維持する。

ABSTRACT

Recent approaches for modelling dynamics of physical systems with neural networks enforce Lagrangian or Hamiltonian structure to improve prediction and generalization. However, when coordinates are embedded in high-dimensional data such as images, these approaches either lose interpretability or can only be applied to one particular example. We introduce a new unsupervised neural network model that learns Lagrangian dynamics from images, with interpretability that benefits prediction and control. The model infers Lagrangian dynamics on generalized coordinates that are simultaneously learned with a coordinate-aware variational autoencoder (VAE). The VAE is designed to account for the geometry of physical systems composed of multiple rigid bodies in the plane. By inferring interpretable Lagrangian dynamics, the model learns physical system properties, such as kinetic and potential energy, which enables long-term prediction of dynamics in the image space and synthesis of energy-based controllers.

研究の動機と目的

• 座標アノテーションを必要とせず、データ効率的かつ教師なしで画像データから物理的力学を学習すること。
• 座標に敏感なVAEを用いて、画像系列から解釈可能な一般化座標（特に回転および並進座標）を直接推定すること。
• 潜在空間にラグランジュ力学を強制することで、長期予測の精度と物理的整合性を向上させること。
• 学習された解釈可能な力学を基に、エネルギーベースの制御則の合成を可能にし、制御タスクを実現すること。
• 従来手法の限界（座標の教師付き学習を要する、高次元で解釈不能な潜在変数を用いる、多体系に一般化できない）を克服すること。

提案手法

• 画像入力から解釈可能な一般化座標（例：角度や位置）を推定できる、座標に敏感な変分オートエンコーダ（VAE）を設計し、平面剛体の幾何構造を明示的にモデル化する。
• 画像再構成と物理に配慮した正則化子を用いて、教師なしで訓練することで、潜在空間が物理的状態を反映するように保証する。
• 潜在空間でラグランジュ力学モデルを訓練し、微分可能ODE積分器を用いてエネルギー保存則とシンプレクティック構造を強制する。
• VAEと力学モデルの共同訓練により、生画像系列から座標と力学をエンドツーエンドで学習可能にする。
• ラグランジュ形式による物理的事前知識を導入することで、運動エネルギーとポテンシャルエネルギーの項を符号化し、一般化性能と安定性を向上させる。
• 制御入力を力学モデルに統合し、学習された物理的構造を活用したエネルギーベースの制御則の合成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 平面剛体系の画像系列から、教師なしで解釈可能な一般化座標を推定できるか？
• RQ2 座標の教師付き情報なしに、画像から得られる潜在空間でラグランジュ力学を効果的に学習できるか？
• RQ3 ラグランジュ事前知識を強制することで、非物理的ベースラインと比較して長期予測精度と一般化性能が向上するか？
• RQ4 学習された力学が、視覚ベース制御に適した有効で物理的に解釈可能な制御則の合成を可能にするか？
• RQ5 VAEにおける座標に敏感な構成要素が、モデル全体の解釈可能性と性能にどのように寄与するか？

主な発見

• 提案モデルは、画像空間予測性能で最先端を記録し、ペンダulumタスクでピixeL MSE 1.52×10³を達成。HGN（2.67×10³）とMLPdyn+caVAE（14.18×10³）を上回る。
• 長期予測においてエネルギー保存が安定しており、延長された軌道においても一貫した運動エネルギーとポテンシャルエネルギーのプロファイルが観察された。
• 座標に敏感なデコーダが、解釈可能な座標の学習に最も寄与しており、座標に敏感なエンコーダは二次的だが有意義な改善をもたらした。
• アブレーションスタディの結果、座標に敏感なVAEを標準的なAEやPAIGモデルに置き換えると、CartPoleタスクで失敗することが判明し、幾何的インダクティブバイアスの必要性が示された。
• モデルは未観測の制御入力に対しても一般化に成功し、システムを安定化させるエネルギーベースの制御則の合成を可能にした。制御の実現可能性が裏付けられた。
• HGNで高次元の潜在空間を用いても、CartPoleタスクにおいてテストデータセットに一般化に失敗した。これにより、本手法のデータ効率性と一般化性能の優位性が明確になった。