[論文レビュー] Physics-as-Inverse-Graphics: Unsupervised Physical Parameter Estimation from Video

Miguel Jaques, Michael Burke+1 more|arXiv (Cornell University)|May 27, 2019

Model Reduction and Neural Networks参考文献 48被引用数 12

ひとこと要約

本論文は、微分可能物理エンジンを用いて、物体の位置・速度といった分離可能な物体状態と系の運動を同時に学習することで、教師なしで動画からの物理的パラメータ推定を可能にする、物理的知識を逆画像処理として用いるフレームワークを提案する。この手法は、運動方程式を帰納的バイアスとして組み込むことで、長期的な動画予測およびデータ効率の良い視覚ベースのモデル予測制御を達成する。

ABSTRACT

We propose a model that is able to perform unsupervised physical parameter estimation of systems from video, where the differential equations governing the scene dynamics are known, but labeled states or objects are not available. Existing physical scene understanding methods require either object state supervision, or do not integrate with differentiable physics to learn interpretable system parameters and states. We address this problem through a physics-as-inverse-graphics approach that brings together vision-as-inverse-graphics and differentiable physics engines, enabling objects and explicit state and velocity representations to be discovered. This framework allows us to perform long term extrapolative video prediction, as well as vision-based model-predictive control. Our approach significantly outperforms related unsupervised methods in long-term future frame prediction of systems with interacting objects (such as ball-spring or 3-body gravitational systems), due to its ability to build dynamics into the model as an inductive bias. We further show the value of this tight vision-physics integration by demonstrating data-efficient learning of vision-actuated model-based control for a pendulum system. We also show that the controller's interpretability provides unique capabilities in goal-driven control and physical reasoning for zero-data adaptation.

研究の動機と目的

• 真の物体状態や外観が入手できない状況において、動画からの教師なし物理的パラメータ推定の課題に対処すること。
• 長期的な動的モデル化において、教師なし視覚的物体発見と微分可能物理エンジンの間のギャップを埋めること。
• 分離可能な物理的状態表現を用いて、データ効率的で解釈可能な視覚ベースのモデル予測制御を可能にすること。
• 学習済みパラメータを用いた反事実的物理的推論により、再訓練なしに制御のゼロショット適応を可能にすること。
• 既知の物理法則を帰納的バイアスとして統合することで、動画予測および制御タスクにおける一般化性能が向上することを示すこと。

提案手法

• 空間変換器（ST）を備えた、視覚的逆画像処理アーキテクチャのエンコーダ・デコーダを用い、動画フレームを分離可能で解釈可能な物体状態（位置・速度）に分解する。
• 既知の微分方程式（例：ばね質量系や重力系）に従って系の運動をシミュレートする、微分可能な物理エンジンを採用する。
• 微分可能レンダリングを介して、潜在的状態表現と画像再構成プロセスの間で座標の一貫性を強制する。
• 再構成損失と物理的一致性損失を用いてエンドツーエンドで訓練し、視覚的特徴、物体状態、物理的パラメータの共同最適化を可能にする。
• 学習済みの状態およびパラメータ表現を、視覚ベースの制御に統合したモデル予測制御（MPC）フレームワークに統合する。
• 分離可能な表現を活用することで、再訓練なしにゴールパラメータ化された制御と反事実的推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 物体状態や外観の教師信号が一切ない状況でも、モデルは動画から物理的パラメータ（例：ばね定数、重力加速度）を学習できるか？
• RQ2 相互作用する物体を有する複雑な物理系について、長期的な動画予測において、モデルはどの程度の性能を示すか？
• RQ3 分離可能な物理的状態表現は、視覚ベースの制御タスクにおいて、データ効率的で解釈可能なモデル予測制御を可能にするか？
• RQ4 ゼロショット物理的推論により、モデルは見知らぬ環境条件（例：重力の変更）にどの程度一般化できるか？
• RQ5 既知の物理法則を帰納的バイアスとして統合することで、完全にエンドツーエンド学習手法と比較して、教師なし動画モデリングおよび制御の性能が向上するか？

主な発見

• モデルは動画から物理的パラメータを正確に回復し、重力加速度g = 9.95、力係数a = 0.99を達成し、真値と一致した。
• ボール・ばね系および3体重力系において、既存の教師なし手法を上回る長期的な動画予測性能を示し、外挿的一般化性能が向上した。
• アンダーアクチュエーテッドパンドラムの視覚ベース制御のデータ効率的学習を可能にし、PlaNetと同等の性能を達成したが、ピxlsからのDDPGよりも著しく高速であった。
• 再訓練なしに新しい重力値（例：1.4倍ベースライン）にゼロショット適応を達成した。これは、学習済みパラメータを用いた解釈可能な物理的推論のおかげである。
• モデルはゴールパラメータ化された制御をサポートし、1回の垂直ゴール学習エピソードから任意のターゲット角度への直接到達を可能にし、ゴール空間全体にわたる一般化を実現した。
• 分離可能で解釈可能な状態表現により、報酬ベースや暗黙の物理モデルでは得られない、反事実的推論や物理的推論といった独自の機能を実現した。