[論文レビュー] Learning Object Manipulation Skills via Approximate State Estimation from Real Videos

Vladimír Petrík, Makarand Tapaswi+2 more|arXiv (Cornell University)|Nov 13, 2020

Reinforcement Learning in Robotics参考文献 48被引用数 13

ひとこと要約

本論文では、2Dビデオからの粗い3次元手および物体の状態を微分可能レンダリングと最適化を用いて推定することで、実際の動画からロボットの物体操作スキルを学習する手法を提案する。推定された軌道は強化学習における高密度報酬として機能し、多様な初期状態に一般化可能であり、実ロボットへの転移にも成功する。複数の動画によるデモは、Something-Somethingデータセットの9つのアクションにおけるロバスト性と成功確率を向上させる。

ABSTRACT

Humans are adept at learning new tasks by watching a few instructional videos. On the other hand, robots that learn new actions either require a lot of effort through trial and error, or use expert demonstrations that are challenging to obtain. In this paper, we explore a method that facilitates learning object manipulation skills directly from videos. Leveraging recent advances in 2D visual recognition and differentiable rendering, we develop an optimization based method to estimate a coarse 3D state representation for the hand and the manipulated object(s) without requiring any supervision. We use these trajectories as dense rewards for an agent that learns to mimic them through reinforcement learning. We evaluate our method on simple single- and two-object actions from the Something-Something dataset. Our approach allows an agent to learn actions from single videos, while watching multiple demonstrations makes the policy more robust. We show that policies learned in a simulated environment can be easily transferred to a real robot.

研究の動機と目的

• 構造のないビデオデモから直接ロボットの物体操作スキルを学習可能にし、高価なエキスパート遠隔操作を回避すること。
• 2Dビデオ観測と3Dポリシー実行のギャップを、手および物体の粗い3次元状態表現の推定によって埋めること。
• 真の3次元アノテーションが不要な、スケーラブルで自己教師ありの3次元状態推定手法の開発。
• 複数の動画デモとカリキュラム風ドメインランダマイゼーションを用いた、ロバストな模倣学習の実現。
• シミュレーションで訓練されたポリシーを、最小限の現実世界でのファインチューニングで実世界のロボットシステムに転送すること。

提案手法

• 2D視覚認識（手/物体検出器、セグメンテーション）と微分可能レンダリングを組み合わせることで、粗い3次元状態を推定する最適化ベースの手法「Real2Sim」を提案。
• 手をシリンダー、物体を直方体として表現することで、2Dビデオフレームからの効率的な3次元再構成を可能にする。
• 視覚的および物理的損失を用いて3次元状態軌道を最適化し、レンダリングされたフレームと観測されたフレームの差を最小化する。
• 推定された3次元軌道から高密度報酬信号を生成し、シミュレーション内で強化学習ポリシーを訓練する。
• ドメインランダマイゼーションをカリキュラム学習戦略として適用し、物体サイズと初期グリッパー位置を変化させることでポリシーの一般化を向上させる。
• 実際のロボットへのポリシー転送には、オフライン軌道生成と数値的逆運動学を用い、ハードウェア制約上、離散的グリッパー制御を実装する。

実験結果

リサーチクエスチョン

• RQ1 2Dビデオの監視のみを用いて、1つの動画デモからロボットが1つの物体操作スキルを学習可能か？
• RQ2 1つのデモと比較して、複数の動画デモからの学習がポリシーのロバスト性を向上させるか？
• RQ3 物体サイズおよび初期位置に基づくドメインランダマイゼーションが、ポリシーの一般化と成功確率に与える影響は？
• RQ4 現実世界でのファインチューニングなしに、シミュレーションで訓練されたポリシーを実ロボットに成功裏に転送可能か？
• RQ5 複雑なアクション（押し、引く、配置するなど）の模倣学習を支援するための粗い3次元状態推定は、どの程度有効か？

主な発見

• 複数の動画で訓練されたポリシーは、1つの動画で訓練されたポリシーと比較して、はるかに高い安定した成功確率を達成し、ハードベンチマークでは中央値の成功確率が38％から83％に上昇した。
• 提案された複数動画報酬関数は、軌道全体を最大化するベースラインを上回り、'Put behind'では88％の成功確率を達成したのに対し、ベースラインは同じアクションで82％であった。
• ハードベンチマークでは、'Push right to left'で72％、'Push left to right'で85％の成功確率を達成し、初期状態にわたる強力な一般化を示した。
• 本手法は、実際のFranka Emika Pandaロボットへのポリシー転送に成功した。オフライン軌道生成と逆運動学により、リアルタイム制御が制限される中でも実行が可能であった。
• 失敗事例の多くは、初期位置が近い場合のグリッパーと物体の衝突に起因しており、より良い衝突認識計画の必要性を示唆している。
• ハードベンチマーク全体の9つのアクションにおいて、1動画ポリシーの平均成功確率は56％、複数動画ポリシーでは73％であり、17ポイントの改善が確認された。