[論文レビュー] Self-Supervised Visual Planning with Temporal Skip Connections

Frederik Ebert, Chelsea Finn+2 more|arXiv (Cornell University)|Oct 15, 2017

Robot Manipulation and Learning参考文献 20被引用数 113

ひとこと要約

この論文は、 occlusion-aware なビデオ予測モデル（SNA）を用い、時間的スキップ接続と視覚 MPC の距離ベースの計画目的を組み合わせて、遮蔽を通じた計画を可能にし、ハイブリッドな連続-離散アクション空間を用いて複数オブジェクトを扱えるようにする。

ABSTRACT

In order to autonomously learn wide repertoires of complex skills, robots must be able to learn from their own autonomously collected data, without human supervision. One learning signal that is always available for autonomously collected data is prediction: if a robot can learn to predict the future, it can use this predictive model to take actions to produce desired outcomes, such as moving an object to a particular location. However, in complex open-world scenarios, designing a representation for prediction is difficult. In this work, we instead aim to enable self-supervised robotic learning through direct video prediction: instead of attempting to design a good representation, we directly predict what the robot will see next, and then use this model to achieve desired goals. A key challenge in video prediction for robotic manipulation is handling complex spatial arrangements such as occlusions. To that end, we introduce a video prediction model that can keep track of objects through occlusion by incorporating temporal skip-connections. Together with a novel planning criterion and action space formulation, we demonstrate that this model substantially outperforms prior work on video prediction-based control. Our results show manipulation of objects not seen during training, handling multiple objects, and pushing objects around obstructions. These results represent a significant advance in the range and complexity of skills that can be performed entirely with self-supervised robotic learning.

研究の動機と目的

• 自動で収集したデータからの自己教師付きロボット学習をビデオ予測を介して動機づける。
• 遮蔽を越えて物体の永続性を保つ、遮蔽対応の予測モデルを開発する。
• ピクセル位置に対する滑らかな距離ベースのコストを用いて視覚ベースの制御計画を改善する。
• モデル予測制御フレームワーク内で連続・離散アクションの両方を用いた計画を可能にする。

提案手法

• Skip Connection Neural Advection (SNA) モデルを提案し、DNA を拡張して時間的スキップ接続を導入し、遮蔽を通じた物体の永続性を維持する。
• 学習したマスクで過去の複数画像を組み合わせて次のフレームを予測し、履歴からコピーすることによって遮蔽処理を実現する。
• 予測されたピクセル位置とゴールとの間の実数距離の期待値を、 horizon T にわたって最小化する距離ベースの計画目的を使用する。
• 連続的なエンドエフェクタの動作と離散的なリフト動作を組み合わせたハイブリッドアクション空間を備えたサンプリングベースのモデル予測制御（CEM）を採用する。
• アクションを水平方向の動作と離散的なリフトレベルを含むベクトルとして表現し、最適化のために最も近い離散ステップへ丸める。
• 外部監視なしに、ランダムに収集したプッシュ軌道からビデオ予測モデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 操作中の遮蔽を通して指定ピクセルを追跡できる occlusion-aware なビデオ予測モデルを作成できるか。
• RQ2 距離ベースの計画目的は、遮蔽下で長期的な視覚的 MPC の性能を改善するか。
• RQ3 ハイブリッドアクション空間（連続 + 離散リフト）を、卓上物体操作のサンプリングベース MPC に効果的に統合できるか。
• RQ4 提案する SNA モデルは、遮蔽が多いタスクや見たことのないオブジェクトに対して従来の DNA ベースのアプローチと比較してどうか。

主な発見

• SNA モデルは、遮蔽が多いタスクにおいて従来の DNA ベースの手法と比較して計画性能を大幅に向上させる。
• 予測ピクセル位置の期待距離コストを用いると、確率ベースのコストよりも長期的な計画性能が向上する。
• ハイブリッドアクション空間によりエンドエフェクタを障害物の上を動かすリフトを可能にし、より自然で短い軌道を生み出す。
• SNA は遮蔽された物体の予測品質を維持し、 unseen objects や複数物体の計画を可能にする。
• 遮蔽と複数物体の設定での自己教師付きビデオ予測が制御を導く実験結果を示す。
• 新しい計画コストを用いた SNA は、seen および unseen objects の両方で従来法より競争力がある、あるいは優れている結果を示す。