[論文レビュー] Learning 6-DoF Grasping and Pick-Place Using Attention Focus

Marcus Gualtieri, Robert W. Platt|arXiv (Cornell University)|Jun 15, 2018

Robot Manipulation and Learning参考文献 27被引用数 23

ひとこと要約

本稿では、注目集中型アクション選択を用いた6自由度(grasping)とピックアンドプレース操作の強化学習フレームワークを提案する。タスクを抽象状態およびアクション表現を用いたマルコフ決定過程として定式化し、階層的SE(3)サンプリング（HSE3S）を適用することで、ロボットはタスク関連のシーン領域に注目し、雑然とした環境における新規オブジェクトに対して、60–90％のタスク成功率を達成する、サンプル効率の高いシミュレーションから現実への転送を実現する。

ABSTRACT

We address a class of manipulation problems where the robot perceives the scene with a depth sensor and can move its end effector in a space with six degrees of freedom -- 3D position and orientation. Our approach is to formulate the problem as a Markov decision process (MDP) with abstract yet generally applicable state and action representations. Finding a good solution to the MDP requires adding constraints on the allowed actions. We develop a specific set of constraints called hierarchical $ ext{SE}(3)$ sampling (HSE3S) which causes the robot to learn a sequence of gazes to focus attention on the task-relevant parts of the scene. We demonstrate the effectiveness of our approach on three challenging pick-place tasks (with novel objects in clutter and nontrivial places) both in simulation and on a real robot, even though all training is done in simulation.

研究の動機と目的

• 雑然とした現実世界の環境において、新規オブジェクトを対象とした、サンプル効率の高い6自由度グリッピングとピックアンドプレース操作の課題に対処すること。
• 注目ベースの状態およびアクションの抽象化により、高次元連続アクション空間（SE(3)）における一般化の向上と次元の呪いの緩和を図ること。
• コンパクトでタスク関連の表現と制約付きアクション列を学習することで、ロバストなシミュレーションから現実への転送を可能にすること。
• 報酬関数の調整により、6自由度グリッピングと配置を統合した1つのポリシー枠組みで統合すること。
• 複雑で非自明なピックアンドプレースタスク、特に雑然としたシーンにおける新規オブジェクトを対象に、本手法を実証すること。

提案手法

• タスクを、タスク関連の視覚的特徴および3次元ポーズ情報を含む抽象状態表現を用いたマルコフ決定過程（MDP）として定式化する。
• 階層的SE(3)サンプリング（HSE3S）を導入し、センスアクションに制約を課すことで、エンドエフェクタのポーズを選択する前に、シーンのタスク関連部分を段階的に注視するようにロボットを誘導する。
• 抽象状態-アクションペア上の価値関数を学習するため、深層Qネットワーク（DQN）の変種を用いる。ここで、アクションは6自由度エンドエフェクタのポーズであり、状態は関連するシーン領域に焦点を当てた指示的画像（deictic image）である。
• 密度の高い、スパarsな、または形状化された報酬信号を用いて、シミュレータ内で完全にポリシーを訓練する。シミュレータから自動的に成功フィードバックを取得する。
• 推論時にn回試行のサンプリングを適用する：複数のグリッピングおよび配置候補を評価し、低価値のものを除外し、逆運動学および運動計画法を用いて到達可能なポーズを特定する。
• ドメインランダマイゼーションとコンパクトな状態表現を活用し、微調整なしにリアルなUR5ロボットへの直接転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 報酬信号のみを用いて、1つの強化学習ポリシーが、雑然としたシーンにおける新規オブジェクトの6自由度グリッピングと6自由度配置を同時に学習できるか？
• RQ2 階層的SE(3)サンプリング（HSE3S）は、高次元連続アクション空間におけるサンプル効率と一般化性をどのように向上させるか？
• RQ3 シミュレーションで訓練されたポリシーが、ドメインランダマイゼーションや微調整なしに、実際にロボットに転送され、成功するまでの程度はどの程度か？
• RQ4 現実世界でのデプロイにおける主な失敗モードは何か？また、それらはシミュレーションのパフォーマンスとどのように相関するか？
• RQ5 注目集中型アクション選択は、有効なアクション空間を縮小し、部分観測性や新規オブジェクト形状に対するロバスト性を向上させられるか？

主な発見

• 実世界実験では、ブロック配置タスクで64％、マグカップ配置で76％、ボトル配置で57％のタスク成功率を達成した（検出失敗は除外）。
• 検出失敗を含めた場合、ブロックで64％、マグカップで78％、ボトルで60％の成功率となり、シーンの不確実性に対して頑健であることが示された。
• グリッピング成功率は、ブロックで最高の96％、マグカップで最低の86％であった。マグカップのグリッピング失敗は主にシミュレーション内での一般化の不足に起因した。
• ボトルの配置失敗の主な原因は、逆さまの向き（7件）やコースターエッジ付近への配置（6件）であり、シミュレーションの傾向と一致していた。
• 本手法は、微調整なしにシミュレーションからリアルなUR5ロボットへの転送に成功し、効果的なシミュレーションから現実への転送を実証した。
• HSE3Sにより、関連するシーン領域に注目することで、探索の効率が向上し、有効なアクション空間が縮小され、学習の安定性が向上した。