[論文レビュー] Reasoning About Physical Interactions with Object-Oriented Prediction and Planning

Michael Jänner, Sergey Levine+4 more|arXiv (Cornell University)|Dec 28, 2018

AI-based Problem Solving and Planning参考文献 30被引用数 42

ひとこと要約

この論文は直接的な物体 supervisionなしに物体中心の表現を学習し、学習済みの知覚・物理・レンダリングスタック（O2P2）を用いて物理的相互作用を予測し、ブロックタワー構築のための行動計画を行う。

ABSTRACT

Object-based factorizations provide a useful level of abstraction for interacting with the world. Building explicit object representations, however, often requires supervisory signals that are difficult to obtain in practice. We present a paradigm for learning object-centric representations for physical scene understanding without direct supervision of object properties. Our model, Object-Oriented Prediction and Planning (O2P2), jointly learns a perception function to map from image observations to object representations, a pairwise physics interaction function to predict the time evolution of a collection of objects, and a rendering function to map objects back to pixels. For evaluation, we consider not only the accuracy of the physical predictions of the model, but also its utility for downstream tasks that require an actionable representation of intuitive physics. After training our model on an image prediction task, we can use its learned representations to build block towers more complicated than those observed during training.

研究の動機と目的

• 物体属性を直接監督せずに、物体ベースのシーン表現を学習する動機づけ。
• ピクセルレベルの再構成を通じて将来の画像を予測する、知覚・物理・レンダリングの結合モデルを開発する。
• 生のピクセルではなく、物体中心表現に基づく計画と行動選択を可能にする。
• 直感的な物理理解に基づく計画を評価するために、ブロック積みタスクでアプローチを評価する。
• 計画と操作の現実世界ロボット実行への移行を示す。

提案手法

• 知覚モジュールは画像セグメントを物体ベクトルへマッピングするが、直接的な意味的監視は行わない。
• 物理モジュールは一項遷移関数と二項対相互作用を用いて、前方の物体状態を予測する。
• レンダリングエンジンは、各物体の予測を個別に合成し、各ピクセルの可視性を決定するために各物体のヒートマップを用いて単一の画像を作成する。
• トレーニングは I0 と I1 フレームに対する画像再構成と予測損失（L2 および perceptual/VGG 損失）を最適化する。
• 学習済み表現を用いて行動をサンプリング・評価し、ゴール物体表現との距離を最小化するものを選択する（任意の CEM を使用）。
• 評価には画像再構成/予測、欠陥を含むタワー構築計画、現実ロボット（Sawyer）への移行、および行動を物体表現へ写像するエンベダーを含む。

実験結果

リサーチクエスチョン

• RQ1 O2P2はピクセルレベルの予測タスクのみを学習した後に、物理的相互作用を推論し、実行可能な計画を立てることができるのか。
• RQ2 物体要素化学習は、計画タスクにおいてピクセル空間のブラックボックス動画予測よりも優れているのか。
• RQ3 物体中心の表現は、物体属性の監視なしでも有用であるのか。
• RQ4 学習された物理的直感は現実世界のロボット操作へどの程度転送できるのか。
• RQ5 学習された表現は、訓練中に見られなかった新規のタワー構成をどの程度サポートできるのか。

主な発見

物理なし	SAVP	提案手法	オラクル（ピクセル）	オラクル（物体）
0	24	76	71	92

• O2P2は、保持した構成で妥当な定常状態の物理配置と現実的な予測を示す。
• 物体要素化アプローチは、物体非依存のビデオ予測やいくつかのベースラインよりも、タワー構築の精度で優れている。
• 物理シミュレーションは重要であり、No-physicsアブレーションは積み重ねタスクでの性能が低い。
• O2P2は学習した表現を用いることで、訓練構成を超えた計画タスクへ一般化でき、タワー設計や別ゴールを含む。
• 現実のSawyerロボットへの転送は、エンベッダと改良済み損失を用いて17/25の成功構成を達成。
• ピクセル空間評価を用いるオラクルと比較して、物体中心の目的を持つO2P2は報告されたタワー構築タスクでより高い精度を達成。