[論文レビュー] Visual Foresight: Model-Based Deep Reinforcement Learning for Vision-Based Robotic Control

Frederik Ebert, Chelsea Finn+4 more|arXiv (Cornell University)|Dec 3, 2018

Reinforcement Learning in Robotics参考文献 42被引用数 263

ひとこと要約

自己監視型でモデルベースの深層強化学習アプローチで、視覚ベースのロボット操作において無監督の相互作用から予測ビデオモデルを学習し、MPCによるプランニングを用いてピクセルベースのゴール、ゴール画像、またはゴール分類子を使用して、 diverse, unseen tasks and objects を達成する。

ABSTRACT

Deep reinforcement learning (RL) algorithms can learn complex robotic skills from raw sensory inputs, but have yet to achieve the kind of broad generalization and applicability demonstrated by deep learning methods in supervised domains. We present a deep RL method that is practical for real-world robotics tasks, such as robotic manipulation, and generalizes effectively to never-before-seen tasks and objects. In these settings, ground truth reward signals are typically unavailable, and we therefore propose a self-supervised model-based approach, where a predictive model learns to directly predict the future from raw sensory readings, such as camera images. At test time, we explore three distinct goal specification methods: designated pixels, where a user specifies desired object manipulation tasks by selecting particular pixels in an image and corresponding goal positions, goal images, where the desired goal state is specified with an image, and image classifiers, which define spaces of goal states. Our deep predictive models are trained using data collected autonomously and continuously by a robot interacting with hundreds of objects, without human supervision. We demonstrate that visual MPC can generalize to never-before-seen objects---both rigid and deformable---and solve a range of user-defined object manipulation tasks using the same model.

研究の動機と目的

• 外部報酬やリセットなしで、生のピクセル入力からロボット操作を可能にする。
• 監視なしの相互作用から未知の物体やタスクに一般化する順伝搬予測モデルを学習する。
• 計画解法のための柔軟なゴール指定手段（ピクセル、ゴール画像、または分類子）を提供する。
• 1つの予測モデルを用いて、混雑、変形可能な物体、および大きな摂動への頑健性を示す。

提案手法

• 行動に条件付けられた未来フレームを予測するビデオ予測モデルを訓練する変換ベースのアーキテクチャ（DNA/SNA）を用いる。
• ホライズンTにわたる計画コストを最小化する行動を選択する、サンプリングベースの勾配不要プランナーを用いたモデル予測制御。
• 3つの計画コスト定式化を用いる。指定ゴールへのピクセル距離、開始フレーム/ゴールフレームへの画像間整列を用いた登録ベースのコスト、メタ学習（CAML-MAML）を介して学習される分類子ベースのゴール。
• 時間的スキップ接続（SNA）を適用して、遮蔽に対処し、長期のピクセル運動予測を改善する。
• ランダムにサンプルしたフレーム間の自己監視フロー推定を用いて、登録ネットワークをビデオ予測器と共同で訓練する。
• コスト関数間のトレードオフを検討し、ゴール指定と頑健性に関する実践的な指針を提供する。

実験結果

リサーチクエスチョン

• RQ1 監視なしの自己超越的前方ビデオ予測モデルを1つだけ訓練して、未知の操作タスクに対するプランニングベースの制御を実現できるか。
• RQ2 ピクセル距離、登録、ゴール分類子という異なるゴール指定機構は、性能、頑健性、一般化にどのように影響するか。
• RQ3 遮蔽、混雑、変形可能な物体、大きな摂動を1つのモデルで扱えるか。
• RQ4 視覚ベースのロボット制御における一般化とデータ効率を最大化するための効果的な訓練・計画戦略は何か。

主な発見

• 監視なしの相互作用で訓練された単一の予測モデルが、未知の物体やタスクに対する計画ベースの制御を現実のロボットで可能にする。
• ピクセル距離、登録されたゴール画像、または分類子ベースのゴールを用いたピクセルベースの計画が、MPCを用いて物体操作を推進できる。
• 変換ベースのビデオ予測器（DNA/SNA）は、遮蔽処理と長期の horizon の予測に対して頑健な制御をサポートする。
• 登録ベースのコストは、現在の視点を開始/ゴールフレームに整列させることで計画精度を向上させ、自己監視型 registrationモデルを予測と共に訓練する。
• 分類子ベースのゴールは抽象的なタスク指定を可能にし、メタ学習（CAML/MAML）を介して少数の正例から学習できる。
• このアプローチは、剛体および変形可能な物体、混雑、及び大きな摺動を、1つのモデルと多様なタスクで実現できることを示している。