[論文レビュー] Structured Object-Aware Physics Prediction for Video Modeling and Planning

Jannik Kossen, Karl Stelzner+3 more|arXiv (Cornell University)|Oct 6, 2019

Human Pose and Action Recognition参考文献 48被引用数 18

ひとこと要約

本論文では、視覚データから教師なしでオブジェクト中心の表現と物理的ダイナミクスを同時に学習する構造的でオブジェクトに注意を向ける状態空間モデル、STOVEを提案する。画像推論ネットワークとダイナミクスモデルを組み合わせ、変分推論においてダイナミクスを再利用することで、物理的現実性を備えた長時間予測を達成し、先行する教師なしモデルを上回り、教師ありベースラインに近い性能を発揮するとともに、サンプル効率の高いモデルベース強化学習を可能にする。

ABSTRACT

When humans observe a physical system, they can easily locate objects, understand their interactions, and anticipate future behavior, even in settings with complicated and previously unseen interactions. For computers, however, learning such models from videos in an unsupervised fashion is an unsolved research problem. In this paper, we present STOVE, a novel state-space model for videos, which explicitly reasons about objects and their positions, velocities, and interactions. It is constructed by combining an image model and a dynamics model in compositional manner and improves on previous work by reusing the dynamics model for inference, accelerating and regularizing training. STOVE predicts videos with convincing physical behavior over hundreds of timesteps, outperforms previous unsupervised models, and even approaches the performance of supervised baselines. We further demonstrate the strength of our model as a simulator for sample efficient model-based control in a task with heavily interacting objects.

研究の動機と目的

• オブジェクト、その位置、速度、相互作用を明示的に扱う統合的で教師なしの動画モデリングフレームワークを構築すること。
• 構造的な画像モデリングと物理的感度のあるダイナミクスを組み合わせた構成的状態空間モデルを用いて、長期的動画予測性能を向上させること。
• 学習済みモデルをシミュレータとして用いることで、計画に用いることにより、サンプル効率の高いモデルベース強化学習を可能にすること。
• 高視覚的精細度を伴う複雑で相互作用する物理系を扱う点で、先行する教師なしモデルの限界を克服すること。

提案手法

• STOVEは変分推論フレームワークを用い、オブジェクト状態の事後分布を現在のフレームからの視覚的提案と、過去状態からのダイナミクスに基づく提案を組み合わせることで形成する。
• ダイナミクスモデルは推論ネットワークでも再利用され、平均パラメータは共有されるが分散は共有されないため、訓練の正則化と収束の加速が図られる。
• オブジェクト状態は空間的位置、速度、外観特徴として表現され、微分可能アテンション機構を用いてオブジェクトマスクが推論される。
• 生成モデルは和積ネットワーク（sum-product networks）を用い、オブジェクト状態が与えられたもとでの観測フレームの尤度を効率的に計算する。
• モデルは変分下界（ELBO）目的関数を用いた確率的勾配降下法によりエンドツーエンドで訓練される。
• モデルベース制御のため、ダイナミクスモデルは行動に条件付けられ、報酬を予測するように拡張され、モンテカルロツリー探索（MCTS）を用いた計画が可能になる。

実験結果

リサーチクエスチョン

• RQ1 統合的でオブジェクトに注意を向ける状態空間モデルは、完全に教師なしの設定のもとで、物理的相互作用を現実的に再現する長期的動画シーケンスを予測できるか？
• RQ2 生成ダイナミクスモデルを推論ネットワークでも再利用することで、訓練の安定性、速度、予測性能にどのような影響を与えるか？
• RQ3 明示的なオブジェクトの推論を備えた教師なし動画モデルは、真値のオブジェクト状態にアクセスできる教師ありベースラインとどの程度性能が近づけるか？
• RQ4 このようなモデルは、視覚的に複雑な環境において、サンプル効率の高いモデルベース強化学習のための有効なシミュレータとして機能できるか？

主な発見

• STOVEは数百ステップにわたる非常に現実的な動画ロールアウトを生成し、長期的な物理的整合性と妥当なオブジェクト相互作用を示している。
• 定量的指標（例：FVD、LPIPS）および定性的な視覚的品質の両面で、先行する教師なし動画モデルを上回っている。
• 真値のオブジェクト状態を用いる教師ありベースラインに近い性能を達成しており、入力画像からの強力な一般化能力を示している。
• モデルベース強化学習において、STOVEはMCTSベースのエージェントが、モデルフリーPPOベースラインと比較して10倍以上も少ない環境サンプルで競争力ある性能を達成できるようにしている。
• 推論においてダイナミクスモデルを再利用することで、標準的な変分推論設定と比較して、訓練の収束が速く、安定性が向上している。
• 明示的なオブジェクトの識別や軌道の教師信号なしに、複数のオブジェクト間の複雑で非線形な相互作用（跳ね返りや衝突ダイナミクスなど）を効果的に処理している。