[論文レビュー] Learning Long-term Visual Dynamics with Region Proposal Interaction Networks

Haozhi Qi, Xiaolong Wang+3 more|arXiv (Cornell University)|Aug 5, 2020

Multimodal Machine Learning Applications参考文献 65被引用数 18

ひとこと要約

本論文は、領域提案特徴量と畳み込み型相互作用ネットワークを活用して、生画像から長期間の視覚的ダイナミクスをモデル化する新規手法であるRegion Proposal Interaction Networks (RPIN)を提案する。空間的文脈を伴う潜在特徴空間において物体の軌跡を推論することで、PHYREベンチマークにおける長期間予測および計画タスクで最先端の性能を達成し、内挿的およびクロスタスク一般化設定の両方でAUCCESSが最大8ポイント向上した。

ABSTRACT

Learning long-term dynamics models is the key to understanding physical common sense. Most existing approaches on learning dynamics from visual input sidestep long-term predictions by resorting to rapid re-planning with short-term models. This not only requires such models to be super accurate but also limits them only to tasks where an agent can continuously obtain feedback and take action at each step until completion. In this paper, we aim to leverage the ideas from success stories in visual recognition tasks to build object representations that can capture inter-object and object-environment interactions over a long-range. To this end, we propose Region Proposal Interaction Networks (RPIN), which reason about each object's trajectory in a latent region-proposal feature space. Thanks to the simple yet effective object representation, our approach outperforms prior methods by a significant margin both in terms of prediction quality and their ability to plan for downstream tasks, and also generalize well to novel environments. Code, pre-trained models, and more visualization results are available at https://haozhi.io/RPIN.

研究の動機と目的

• 再計画に依存せずに、正確な長期予測を可能にするデータ駆動型の視覚的ダイナミクスモデルを開発すること。
• 生画像から直接オブジェクト中心の表現を学習することで、ピクセルレベルの予測と抽象的状態空間ダイナミクスのギャップを埋めること。
• 長期間にわたるオブジェクト同士およびオブジェクトと環境の相互作用をモデル化し、効果的な下流の計画を実現すること。
• 特に初期アクションが1回のみ許可される状況においても、新しい環境や未観測のタスクに効果的に一般化できること。

提案手法

• フレームレベルの特徴量からオブジェクト特徴量をRoIPoolingを用いて抽出し、オブジェクトおよび環境的文脈を捉える。
• MLPを畳み込み層に置き換えることで空間的構造を保持するように拡張した、畳み込み型相互作用ネットワークを導入する。
• 潜在的領域提案特徴空間における相互作用を推論することで、将来のオブジェクトの位置と形状変化を予測する。
• 分類器を、連結されたオブジェクト特徴量の軌跡上に訓練し、タスクの成功を予測することで、視覚入力からのエンドツーエンド計画を可能にする。
• 予測にT_train = 10のタイムステップを用い、成功ラベルに対する交差エントロピー損失でエンドツーエンドに訓練する。
• 推論時には、予測された特徴量軌跡に基づいてアクションをスコア付けし、順位付けして計画を行う。

実験結果

リサーチクエスチョン

• RQ1 生画像で訓練された視覚的ダイナミクスモデルは、再計画を必要とせずに長期間タスクに一般化できるか？
• RQ2 空間的文脈を伴うオブジェクト中心の表現は、時間経過に伴うオブジェクト同士およびオブジェクトと環境の相互作用をどの程度正確に捉えることができるか？
• RQ3 学習されたダイナミクスモデルは、未観測の環境でどの程度効果的な計画を支援できるか？
• RQ4 MLPベースの相互作用モデルと比較して、畳み込みによる空間的推論を組み込むことで、長期予測の正確性が向上するか？

主な発見

• PHYREベンチマークにおけるクロスタスク一般化において、RPINはDQNベースラインに対して6ポイントの向上を達成し、AUCCESSは74.3を記録した。
• タスク内一般化においては、DQNベースラインを8ポイント上回り、AUCCESSは82.1を達成した。
• 定性的な結果から、RPINは10秒の予測期間にわたり正確で衝突を考慮した軌跡を生成するのに対し、ベースラインは貫通や不安定性を示した。
• SimBタスクにおいて、RPINはボールのターゲット状態およびヒットタスクの両方で最高の性能を示し、強力な計画能力を示した。
• 実世界環境（RealB）および合成シナリオ（SS）の両方において、多様な設定で妥当で一貫性のある予測を実現し、良好な一般化性能を示した。
• セグメンテーションマップや事前定義されたオブジェクトマスクを一切必要とせず、学習された領域提案に依存するのみで、最先端のベースラインを上回った。