[論文レビュー] Pixel-Attentive Policy Gradient for Multi-Fingered Grasping in Cluttered Scenes

Bohan Wu, Iretiayo Akinola+1 more|arXiv (Cornell University)|Mar 8, 2019

Robot Manipulation and Learning参考文献 29被引用数 4

ひとこと要約

本論文は、ごみだらけのシーンにおける1枚の深度画像から、エンドツーエンドの強化学習を用いて6自由度の多指ハンドの grasps を学習するためのピクセルに注目する方策勾配法を提案する。ピクセル空間で直接動作し、反復的に有望な領域に注目する学習可能な注目メカニズムを用いることで、実世界の新規なごみだらけの物体に対して、実世界の微調整なしに91.9％の成功率を達成した。これは、シミュレーションから実世界への転送性の高さと、遮蔽に対するロバスト性を示している。

ABSTRACT

Recent advances in on-policy reinforcement learning (RL) methods enabled learning agents in virtual environments to master complex tasks with high-dimensional and continuous observation and action spaces. However, leveraging this family of algorithms in multi-fingered robotic grasping remains a challenge due to large sim-to-real fidelity gaps and the high sample complexity of on-policy RL algorithms. This work aims to bridge these gaps by first reinforcement-learning a multi-fingered robotic grasping policy in simulation that operates in the pixel space of the input: a single depth image. Using a mapping from pixel space to Cartesian space according to the depth map, this method transfers to the real world with high fidelity and introduces a novel attention mechanism that substantially improves grasp success rate in cluttered environments. Finally, the direct-generative nature of this method allows learning of multi-fingered grasps that have flexible end-effector positions, orientations and rotations, as well as all degrees of freedom of the hand.

研究の動機と目的

• 多指ハンドのグリップのためのオンポリシー強化学習における高いサンプル複雑性とシミュレーションから実世界へのギャップを解消すること。
• 1枚の深度画像から直接、位置、姿勢、およびすべての指関節角度を含む6自由度のグリップポリシーを学習可能にすること。
• 反復的に関連する画像領域に注目する学習可能な注目メカニズムを導入することで、ごみの多い環境におけるグリップ成功を向上させること。
• 深度画像のみの観測によって、実世界の微調整を最小限に抑えることで、シミュレーションから実世界へのドメインシフトを低減し、実世界でのロバストな性能を達成すること。

提案手法

• 本手法は、1枚の深度画像を入力として、完全にシミュレーション内で訓練された方策勾配強化学習アルゴリズムを用いる。
• グリップポーズと指関節角度は、画像空間内でピクセルごとに予測され、深度マップに基づく点群再構築を用いて3次元デカルト座標に変換される。
• 独自のピクセル注目メカニズムにより、画像の局所領域に注目するための反復的クロッピングが可能となり、ごみの中でのグリップ品質向上を模倣する「ズームイン」効果を実現する。
• 注目メカニズムは、高品質なグリップが予測された時点でクロッピングを停止する学習を可能とし、上位からではなく、柔軟なエンドエフェクタ姿勢を持つグリップを実現する。
• 訓練中にドメインランダム化を適用し、シーン内の物体の数や配置を変化させることで、ごみへのロバスト性を向上させる。
• 人為的にアノテートされたグリップデータや事前に定義されたグリップ候補を一切使用せずに、エンドツーエンドでポリシーを訓練する。

Figure 1 : Pixel-Attentive Policy Gradient Multi-Fingered Grasping. Given a scene of cluttered objects (a) , our method takes in a single depth image and gradually zooms into a local region of the image to generate a good grasp. (b) , (c) and (d) show the zooming process, in which the green bounding

実験結果

リサーチクエスチョン

• RQ1 深度画像のみを用いて訓練された強化学習ポリシーが、実世界の微調整なしに、ごみだらけのシーンで高い実世界グリップ成功率を達成できるか。
• RQ2 画像領域に段階的に注目する学習可能な注目メカニズムは、グローバルな観測と比較して、ごみの多い環境におけるグリップパフォーマンスをどのように向上させるか。
• RQ3 複雑なシーンにおいて、6自由度のグリップポーズと多指構成を学習することが、トップダウン型や2指グリップと比較して、どの程度優れているか。
• RQ4 カメラの視点がトップダウンでない場合（非トップダウン）の変化に対して、この手法はどの程度ロバストか。
• RQ5 多指グリップと、簡略化されたグリップタイプ（例：並進グリップやトップダウングリップ）の違いが、全体のパフォーマンスにどの程度寄与しているか。

主な発見

• 本手法は、実世界の単一の既知の物体に対して96.7％、単一の新規物体に対して93.3％の成功率を達成し、優れた一般化性能を示した。
• ごみだらけのシーンにおいて、既知の物体では92.9％、新規物体では91.9％の成功率を達成し、遮蔽やごみへの高いロバスト性を示した。
• アブレーションスタディの結果、注目メカニズムを除去すると、ごみだらけの既知の物体での成功率が21.6％低下した。これは、遮蔽の処理において注目メカニズムが果たす重要な役割を示している。
• トップダウングリップを強制すると、ごみだらけの既知の物体でのパフォーマンスが17.7％低下した。これは、複雑なシーンにおいて非トップダウングリップの優位性を確認した。
• 2指グリップのみを用いた場合、単一の既知の物体でのパフォーマンスが43.4％低下した。これは、完全な多指制御が顕著な利点をもたらしていることを示している。
• 非トップダウンのカメラアングルに対しても本手法はロバストであり、60度の視点での性能は、シミュレーションにおいてトップダウンと統計的に差がなかった。

(a) PyBullet (Train)