[論文レビュー] Grasp Proposal Networks: An End-to-End Solution for Visual Learning of Robotic Grasps

Chaozheng Wu, Chen, Jian+5 more|arXiv (Cornell University)|Sep 26, 2020

Robot Manipulation and Learning参考文献 33被引用数 5

ひとこと要約

本稿では、学習可能なアンカを備えた3次元グリッドベースのグリップ提案モジュールを用いて、1枚のRGB画像から未観測の物体に対して多様な6-DOFグリップを予測するエンドツーエンドのディーブラーニングフレームワーク、Grasp Proposal Networks (GPNet) を提案する。GPNetは、シミュレーションおよび実世界のロボットグリップにおいて最先端の性能を達成し、6-DOF GraspNet や GQCNN といった先行研究を上回っている。特に、グリップの多様性と実世界への一般化性能において顕著な優位性を示している。

ABSTRACT

Learning robotic grasps from visual observations is a promising yet challenging task. Recent research shows its great potential by preparing and learning from large-scale synthetic datasets. For the popular, 6 degree-of-freedom (6-DOF) grasp setting of parallel-jaw gripper, most of existing methods take the strategy of heuristically sampling grasp candidates and then evaluating them using learned scoring functions. This strategy is limited in terms of the conflict between sampling efficiency and coverage of optimal grasps. To this end, we propose in this work a novel, end-to-end \emph{Grasp Proposal Network (GPNet)}, to predict a diverse set of 6-DOF grasps for an unseen object observed from a single and unknown camera view. GPNet builds on a key design of grasp proposal module that defines \emph{anchors of grasp centers} at discrete but regular 3D grid corners, which is flexible to support either more precise or more diverse grasp predictions. To test GPNet, we contribute a synthetic dataset of 6-DOF object grasps; evaluation is conducted using rule-based criteria, simulation test, and real test. Comparative results show the advantage of our methods over existing ones. Notably, GPNet gains better simulation results via the specified coverage, which helps achieve a ready translation in real test. We will make our dataset publicly available.

研究の動機と目的

• 6-DOFロボットグリップにおけるヒューリスティックなグリップサンプリングの限界に対処する。有限のサンプリングは最適なグリップを逃すリスクを伴い、計算コストを増加させる。
• VAEベースの手法で生じるモード崩壊問題に起因する、物体中心付近に集中した非多様なグリップ予測を克服する。
• 後処理やヒューリスティックなサンプリングに依存せずに、単一のRGB画像から多様で高品質な6-DOFグリップを直接予測するエンドツーエンドの学習フレームワークを開発する。
• グリップの多様性とカバー範囲を向上させることで、ドメインシフトを最小限に抑えることにより、合成データから実世界のロボットシステムへの強力な一般化を実現する。
• 226個のオブジェクトモデルをカバーする2260万件のアノテート済みグリップを含む大規模な合成6-DOFグリップデータセットを提供し、ベンチマーク化する。

提案手法

• 離散的で規則的な3次元グリッドのコーナーにグリップ中心のアンカを定義するグリップ提案モジュールを導入し、予測の多様性と精度を柔軟に制御可能にする。
• グリップ提案モジュールの上に3つのヘッドをスタックする：1つはアンチポーラグリップの有効性予測、1つは6-DOFグリップの回帰（位置と姿勢）、1つは信頼度スコアリング。
• 分類、回帰、信頼度予測を統合したマルチタスク損失関数を用いて、エンドツーエンドで学習し、グリップ品質と多様性を最適化する。
• 3次元提案グリッドの空間的解像度と範囲を調整することで、グリップの多様性を制御する。広いまたは疎なグリッドは多様性を促進し、密なグリッドは精度を向上させる。
• CADモデルと物理シミュレーションから生成された合成データを活用し、多数のオブジェクトインスタンスをカバーする大規模かつ多様なデータセットでネットワークを学習する。
• 微分可能で学習可能なアンカメカニズムを採用し、ネットワークが有望な3次元空間領域に注目しつつも、物体の全グリップ可能表面をカバーするようにする。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックなサンプリングやスコアリングパイプラインに比べ、エンドツーエンドのディーブラーニングモデルが6-DOFロボットグリップ予測で優れた性能を発揮できるか？
• RQ2 グリップ提案アンカの空間的分布を制御することで、シミュレーションおよび実世界の設定においてグリップの多様性と成功率が向上するか？
• RQ3 予測におけるグリップの多様性が、ドメインシフト下でも実世界での一般化性能と成功率にどの程度寄与するか？
• RQ4 合成グリップアノテーションの規模と密度が、エンドツーエンドのグリップ予測ネットワークの性能に与える影響はどの程度か？
• RQ5 分離された精錬段階を必要とせず、1つの統一されたネットワークアーキテクチャで高精度と高多様性の両方を達成できるか？

主な発見

• 10×10×10のグリッド解像度と22cm×22cm×22cmの提案空間を用いた場合、GPNetはシミュレーションで90.0%の成功率を達成（k=10%）。6-DOF GraspNet（精錬なしで43.3%）や GQCNN（平面グリップで78.3%）を大きく上回る。
• 10×10×10グリッドと22cmの提案空間を用いた場合、実世界テストで20個のオブジェクトに対して85%の成功率を達成。6-DOF GraspNetの73%を上回った。
• 学習データを全セットの1/4に削減すると、GPNetのシミュレーション成功率は90.0%から52.2%に低下し、高品質で高密度なアノテーションが性能に不可欠であることを示した。
• 1オブジェクトあたりのアノテーション数が性能に顕著な影響を与える：10Kから100Kに増加させると、シミュレーションでのGPNetの成功率は65.0%から90.0%に上昇した。
• スパースなアンカグリッド（r=3, b=22cm）を用いたGPNetは、k=10%で64.4%の成功率を達成。多様性が鍵であることが示され、グリッドが密になるほど性能が著しく向上した。
• 実世界テストではドメインシフトの影響にもかかわらず、GPNetは平均85%の高い性能を維持しており、合成データから実環境への効果的な一般化が実証された。