[論文レビュー] GDN: A Coarse-To-Fine (C2F) Representation for End-To-End 6-DoF Grasp Detection

Kuang-Yu Jeng, Yueh-Cheng Liu+5 more|arXiv (Cornell University)|Oct 21, 2020

Robot Manipulation and Learning参考文献 17被引用数 14

ひとこと要約

本稿では、点群からの高速で多様かつ正確な grasps 予測を可能にする、一括処理で6自由度（6-DoF）の grasp 検出を行う GDN を提案する。新規の粗大から細かい（C2F）表現を用いることで、粗い選択のための信頼度グリッドと残留補正による微調整を組み合わせ、20倍の高速化と、1対象シーンでは8%の成功率向上、ごちゃまぜシーンでは40%の完全率向上を達成し、最先端の二段階手法を上回る性能を発揮する。

ABSTRACT

We proposed an end-to-end grasp detection network, Grasp Detection Network (GDN), cooperated with a novel coarse-to-fine (C2F) grasp representation design to detect diverse and accurate 6-DoF grasps based on point clouds. Compared to previous two-stage approaches which sample and evaluate multiple grasp candidates, our architecture is at least 20 times faster. It is also 8% and 40% more accurate in terms of the success rate in single object scenes and the complete rate in clutter scenes, respectively. Our method shows superior results among settings with different number of views and input points. Moreover, we propose a new AP-based metric which considers both rotation and transition errors, making it a more comprehensive evaluation tool for grasp detection models.

研究の動機と目的

• ヒューリスティックなラベル選択により、二段階の6-DoF grasp 検出の限界を解消する。特に、処理が遅く、ポーズの多様性を捉えきれない点を改善する。
• 一括処理の6-DoF grasp ネットワークにおけるラベルの多様性問題を克服する。通常、1点あたり1つの真値グリップしか使用されないため、一般化性能が劣る。
• 1回の順方向伝搬で複数の多様なグリップポーズを予測可能な、新規の粗大から細かい（C2F）表現を設計する。
• 疎な点群や入力ビューの変化に対して頑健性を向上させ、さまざまなセンシング条件でも一貫した性能を発揮する。
• 回転と並進の両方の誤差を統合的に評価する新しいAPベースの評価指標を提案する。これにより、より包括的なモデル評価が可能になる。

提案手法

• 入力点群をグリップポイントに再サンプリングするため、PointNet++ をベースとしたバックボーンを採用し、それらを潜在的なグリップ予測の中心点として使用する。
• 粗大から細かい（C2F）表現を導入：粗い部分は量子化されたグリップ方向に対する信頼度グリッドとして定義され、微調整部分は残留オフセットを用いて粗いポーズを精密化する。
• 各グリップポイント上で直接C2F表現を予測可能な共有マルチレイヤーパーセプトロンを用い、エンドツーエンドの学習と推論を可能にする。
• C2F表現を最終的な6-DoFグリップポーズ（位置＋方向）に変換するための微分可能な変換を適用する。
• 回転誤差と並進誤差を統合的に評価する新しい平均精度（AP）ベースの指標を統合し、グリップ検出性能を評価する。
• C2F表現に対する監視のもとで、グリップ品質とポーズ精度を最適化する損失関数を用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 ラベルの多様性を保持することで、二段階ベースラインより高い精度と速度を達成できるか。
• RQ2 提案された粗大から細かい（C2F）表現は、高い推論効率を維持しながら、多様なグリップポーズを効果的にモデル化できるか。
• RQ3 C2F表現は、疎な点群入力や入力ビュー数の変動に対して、一般化性能と頑健性をどの程度向上させるか。
• RQ4 回転と並進の両方の誤差を考慮する新しいAPベースの指標は、より信頼性が高く、環境に依存しないグリップ検出モデルの評価を可能にするか。
• RQ5 以前の手法がポーズのクラスタリングと多様性の欠如により失敗するような、困難なごちゃまぜシーンでも、モデルは高い性能を維持できるか。

主な発見

• GDN は1対象グリップシーンで95.6%の成功率を達成し、YCB データセットにおいて、次に優れたベースライン（PointNetGPD）より8%の向上を示した。
• ごちゃまぜシーンでは、GDN は85.33%の完全率を達成し、PointNetGPD より40%、GPD より39%の向上を示し、優れた頑健性を示した。
• GDN は最先端の二段階手法（GPD と PointNetGPD）よりも20倍以上高速であり、1サンプルあたり0.10秒の推論時間であったのに対し、GPD は3.32秒であった。
• GDN は疎な点群条件でも高い性能を維持し、入力点数を256に減らしても $AP_H$ がわずか7.6%低下にとどまり、S4G や PointNetGPD が50%以上の性能低下を示すのとは対照的であった。
• t-SNE 視覚化により、GDN の予測は真値グリップの全分布を高密度にカバーしており、GPD や PointNetGPD とは異なり、クラスタ化されない多様な予測を生成していることが確認された。
• アブレーションスタディの結果、C2F表現とコサインロール正則化の併用が最も高い $AP_H$（0.8380）を達成し、両者の有効性を裏付けた。