[論文レビュー] QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation

Dmitry Kalashnikov, Alex Irpan+9 more|arXiv (Cornell University)|Jun 27, 2018

Robot Manipulation and Learning参考文献 39被引用数 574

ひとこと要約

QT-Optは、オフポリシーに基づく深層Q学習フレームワークを視覚ベースの閉ループロボット把持に適用してスケーラブルに訓練し、オフラインデータと控えめなオンポリシーフィンチューニングの後に未見オブジェクトで96%の成功を達成する。

ABSTRACT

In this paper, we study the problem of learning vision-based dynamic manipulation skills using a scalable reinforcement learning approach. We study this problem in the context of grasping, a longstanding challenge in robotic manipulation. In contrast to static learning behaviors that choose a grasp point and then execute the desired grasp, our method enables closed-loop vision-based control, whereby the robot continuously updates its grasp strategy based on the most recent observations to optimize long-horizon grasp success. To that end, we introduce QT-Opt, a scalable self-supervised vision-based reinforcement learning framework that can leverage over 580k real-world grasp attempts to train a deep neural network Q-function with over 1.2M parameters to perform closed-loop, real-world grasping that generalizes to 96% grasp success on unseen objects. Aside from attaining a very high success rate, our method exhibits behaviors that are quite distinct from more standard grasping systems: using only RGB vision-based perception from an over-the-shoulder camera, our method automatically learns regrasping strategies, probes objects to find the most effective grasps, learns to reposition objects and perform other non-prehensile pre-grasp manipulations, and responds dynamically to disturbances and perturbations.

研究の動機と目的

• Vision-based closed-loop graspingをスケーラブルなオフポリシー強化学習で学習する。
• 未知のオブジェクトへの把持戦略を一般化する。
• 前握操作と再把握を伴う長距離把持を実証する。
• 大規模RLデータセットのためのスケーラブルな分散訓練アーキテクチャを紹介する。

提案手法

• Explicitなアクターを持たない連続アクションQ学習フレームワークとしてQT-Optを導入する。
• 非凸のQ関数Q_theta(s,a)を用い、クロスエントロピー・ベルマン誤差と安定性のための二つのターゲットネットワークを用いる。
• 行動選択のために非凸Q函数を最大化するための確率的最適化（CEM）を用いる。
• 複数のロボットからの大規模オフポリシーデータ（580k把持）とオンポリシーフィンチューニング（約28k把持）で訓練する。
• リプレイバッファとベルマン更新ジョブを備えた分散非同期訓練パイプラインを実装する。

実験結果

リサーチクエスチョン

• RQ1 視覚入力を伴うオフポリシー深層Q学習は、動的な把持タスクで高い一般化を達成できるか。
• RQ2 長距離強化学習は、混雑した未知のオブジェクト環境で前握操作と再把握を可能にするか。
• RQ3 オフラインデータの規模とオンポリシーフィンチューニングの把持性能への影響はどうなるか。
• RQ4 QT-Optフレームワークは、長距離成功を最適化しない従来の自己教師付き把持法とどう比較されるか。

主な発見

Method	Dataset	Test	Bin emptying	first 10	first 20	first 30
QT-Opt (ours)	580k off-policy + 28k on-policy	96%	88%	88%	76%
Levine et al. [27]	900k grasps from Levine et al. [27]	78%	76%	72%	72%

• QT-Optはオフラインデータと控えめなオンポリシーフィンチューニング後に未知のオブジェクトで96%の把持成功を達成する。
• オフポリシー訓練だけで従来の自己教師付き把持ベースラインを上回る。
• オンポリシーフィンチューニング（約28k把持）は、ハードネガティブマイニングと長距離最適化を可能にして測定可能な改善をもたらす。
• ポリシーは前握操作、再把持、動的外乱処理などの高度な挙動を示す。
• 大規模な分散RL設定により7台のロボットで580k把握を訓練できる。