[論文レビュー] Unsupervised Learning for Physical Interaction through Video Prediction

Chelsea Finn, Ian Goodfellow+1 more|arXiv (Cornell University)|May 23, 2016

Human Pose and Action Recognition参考文献 28被引用数 266

ひとこと要約

この論文は、前のフレームの画素を変換して未来のフレームを予測するアクション条件付きのビデオ予測モデルを提案し、物理的相互作用の教師なし学習と未見の物体への一般化、そしてロボット押しデータセットを可能にする。

ABSTRACT

A core challenge for an agent learning to interact with the world is to predict how its actions affect objects in its environment. Many existing methods for learning the dynamics of physical interactions require labeled object information. However, to scale real-world interaction learning to a variety of scenes and objects, acquiring labeled data becomes increasingly impractical. To learn about physical object motion without labels, we develop an action-conditioned video prediction model that explicitly models pixel motion, by predicting a distribution over pixel motion from previous frames. Because our model explicitly predicts motion, it is partially invariant to object appearance, enabling it to generalize to previously unseen objects. To explore video prediction for real-world interactive agents, we also introduce a dataset of 59,000 robot interactions involving pushing motions, including a test set with novel objects. In this dataset, accurate prediction of videos conditioned on the robot's future actions amounts to learning a "visual imagination" of different futures based on different courses of action. Our experiments show that our proposed method produces more accurate video predictions both quantitatively and qualitatively, when compared to prior methods.

研究の動機と目的

• ラベルなしのビデオデータから物体の物理運動を学習できるようにする。
• 前フレームの画素を変換して長距離の未来フレームを予測する。
• 外観よりも画素の運動に焦点を当てることで、未見の物体への予測を一般化する。
• 対話型エージェントの計画に適したアクション条件付き予測フレームワークを提供する。

提案手法

• 前フレームの画素を変換する3つの運動予測モジュールを提案する: Dynamic Neural Advection (DNA)、Convolutional DNA (CDNA)、 Spatial Transformer Predictors (STP)。
• 学習済みの合成マスクと組み合わせて、複数の予測運動変換を1つの次フレーム予測に結合する。
• アクション条件付き畳み込みLSTMを使用して時間的ダイナミクスをモデル化し、ロボットの状態とアクションを予測に組み込む。
• 実世界のビデオデータに対してL2再構成損失で学習し、適用可能な場合にはスケジュールドサンプリングを実施してシーケンス予測を改善する。
• ロボット押しデータとHuman3.6Mの人間の運動データで、運動ベースの予測モデルをフレーム再構成ベースラインと比較して評価する。

実験結果

リサーチクエスチョン

• RQ1 現実世界の場面で、エージェントのアクションを条件として画素変換に基づく未来フレームを予測できるか？
• RQ2 オブジェクト中心のモーション予測器（CDNAとSTP）は、フレーム再構成のベースラインよりも未見の物体へ一般化できるか？
• RQ3 現実的なデータセットにおける長距離ビデオ予測で、画素運動を予測することはフレームを再構成することとどのように比較されるか？
• RQ4 教師なしビデオ予測は、異なるアクションの下での計画と将来の結果の視覚的想像をサポートできるか？

主な発見

• 動作ベースの予測器（DNA、CDNA、STP）は、ロボット押しと人間の運動データセットでフレーム再構成ベースラインを上回る。
• CDNAとSTPは、学習されたマスクを介して複数のモーション予測を合成するため、より解釈可能なオブジェクト中心の表現を生み出す。
• モデルは、PSNR/SSIMといった定量指標と、10〜18の時系列ステップにわたる定性的な動画予測の双方でより良い成果を達成する。
• 学習済み予測器は未見の物体でも有効であり、外観への不変性が部分的であり、運動に焦点を当てていることを示している。