[論文レビュー] Vid2Param: Modelling of Dynamics Parameters from Video

Martin Asenov, Michael Burke+4 more|Edinburgh Research Explorer|Jul 15, 2019

Model Reduction and Neural Networks参考文献 56被引用数 5

ひとこと要約

Vid2Param は、物理ベースのシミュレータと再帰的変分オートエンコーダ（RVAE）を統合することで、ビデオストリームから直接、位置、速度、反発係数、空気抵抗、重力などの物理的ダイナミクスパラメータをオンラインでシステム同定するエンドツーエンドのディープラーニングフレームワークを提案する。このモデルは、シミュレーションおよび実世界の設定において、正確でリアルタイムのパラメータ推定と確率的未来軌道予測を達成し、遮蔽や限られた視覚入力がある中でも、従来のシステム同定手法を上回る性能を発揮する。

ABSTRACT

Videos provide a rich source of information, but it is generally hard to extract dynamical parameters of interest. Inferring those parameters from a video stream would be beneficial for physical reasoning. Robots performing tasks in dynamic environments would benefit greatly from understanding the underlying environment motion, in order to make future predictions and to synthesize effective control policies that use this inductive bias. Online physical reasoning is therefore a fundamental requirement for robust autonomous agents. When the dynamics involves multiple modes (due to contacts or interactions between objects) and sensing must proceed directly from a rich sensory stream such as video, then traditional methods for system identification may not be well suited. We propose an approach wherein fast parameter estimation can be achieved directly from video. We integrate a physically based dynamics model with a recurrent variational autoencoder, by introducing an additional loss to enforce desired constraints. The model, which we call Vid2Param, can be trained entirely in simulation, in an end-to-end manner with domain randomization, to perform online system identification, and make probabilistic forward predictions of parameters of interest. This enables the resulting model to encode parameters such as position, velocity, restitution, air drag and other physical properties of the system. We illustrate the utility of this in physical experiments wherein a PR2 robot with a velocity constrained arm must intercept an unknown bouncing ball with partly occluded vision, by estimating the physical parameters of this ball directly from the video trace after the ball is released.

研究の動機と目的

• 動的環境における生動的ビデア入力から、オンラインでリアルタイムに物理的ダイナミクスパラメータを同定すること。
• 初期状態の真値を必要とせず、視覚データから複雑な物理的パラメータ（とくに遅延的または微弱な効果を示すもの）を直接推論する課題に対処すること。
• オブジェクトの状態と物理的パラメータの同時推論を可能とするとともに、将来的な制御に役立てる確率的前方予測を実現するモデルの開発。
• ドメインランダマイゼーションを用いてシミュレーション内での完全なトレーニングにより、実世界のロボットシステムへの展開を可能にし、最小限の実世界データで運用することを可能にする、シミュレーションから実世界へのギャップを埋めること。
• 遅い動きで視覚に制限を受けるロボットアームを用いたボールのインターセプトという実用的ロボットタスクにおける本手法の有効性を示すこと。

提案手法

• モデルは物理ベースのシミュレータと再帰的変分オートエンコーダ（RVAE）を組み合わせており、エンコーダーがビデオフレームを物理的パラメータの潜在表現にマップする。
• 予測されたパラメータとシミュレートされたダイナミクスの間の物理的整合性を保証するための追加の損失項が導入され、潜在空間が既知の物理法則に従うように保証される。
• ドメインランダマイゼーションを用いてシミュレーション内でエンドツーエンドでトレーニングされ、実世界の視覚的変化への一般化能力が向上する。
• デコーダーは潜在空間内で将来的な軌道を生成し、パラメータ推定の不確実性を考慮した確率的予測を可能にする。
• フレームワークはオンライン推論をサポートしている：各ビデオフレームで、モデルは物理的パラメータに関する信念を更新し、将来の状態を予測する。
• アーキテクチャはモジュール型であり、エンコーダ/デコーダの選択に依存しないため、さまざまなビジョンモデルやセンサモダリティとの統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 生動的ビデア入力から真値状態の監視なしに、重力、空気抵抗、反発係数、およびローリング係数といった複数の物理的パラメータを正確に推定できるか？
• RQ2 シミュレーションでトレーニングしたデータから、遮蔽や視覚ノイズがある実世界のビデオに一般化できるか？ これにより、実際のロボットシナリオにおける耐障害性のあるシステム同定が可能か？
• RQ3 パラメータ推定の不確実性がある状況でも、モデルが将来的な運動をどの程度確率的に予測できるか？
• RQ4 動的環境の変化を示す物理的パラメータの変化を、動画シーケンス内で検出できるか？
• RQ5 物理ベースの制約を統合することで、完全にデータ駆動のベースラインと比較して、パラメータ推定の正確性が向上するか？

主な発見

• 真値初期軌道を入手する従来の手法と同等のシステム同定精度を達成しているが、生動的ビデア入力のみに依存している。
• 重力と空気抵抗は最初の数フレーム内で推定され、空気抵抗は水平および垂直速度成分に依存するため、わずかに多くのフレームを要する。
• 最初の跳ね返りの数フレーム後には反発係数が信頼性高く推定され、接触ダイナミクスを捉える能力が示された。
• 運動に影響を及ぼすのは後半の軌道に限られるローリング係数は、初期段階で誤差が大きかったが、動画の終盤にかけて改善され、長期間の依存関係を学習していることが示された。
• システム励起が発生した際に物理的パラメータの変化を効果的に検出できたため、動的環境の変化に対する耐障害性が裏付けられた。
• 確率的前方予測は意味のある不確実性パターン（例：跳ね返りの前後で変動性が高まる）を示し、モデルが物理的推論におけるエピステミック的不確実性を適切に表現できていることを示した。