[論文レビュー] S4G: Amodal Single-view Single-Shot SE(3) Grasp Detection in Cluttered Scenes

Yuzhe Qin, Rui Chen+4 more|arXiv (Cornell University)|Oct 31, 2019

Robot Manipulation and Learning参考文献 32被引用数 55

ひとこと要約

本論文は S4G を提示します。単一視点の深度点雲から SE(3) 掴み姿勢を回帰する単発の 6-DoF 掴み提案ネットワークであり、合成の乱雑なシーンで訓練され、最先端手法より優れた性能を示します。

ABSTRACT

Grasping is among the most fundamental and long-lasting problems in robotics study. This paper studies the problem of 6-DoF(degree of freedom) grasping by a parallel gripper in a cluttered scene captured using a commodity depth sensor from a single viewpoint. We address the problem in a learning-based framework. At the high level, we rely on a single-shot grasp proposal network, trained with synthetic data and tested in real-world scenarios. Our single-shot neural network architecture can predict amodal grasp proposal efficiently and effectively. Our training data synthesis pipeline can generate scenes of complex object configuration and leverage an innovative gripper contact model to create dense and high-quality grasp annotations. Experiments in synthetic and real environments have demonstrated that the proposed approach can outperform state-of-the-arts by a large margin.

研究の動機と目的

• 単一視点 depth センサのみからの乱雑なシーンにおける 6-DoF 掴みの問題を、物体カテゴリの仮定なしで扱う。
• 効率と精度の向上のため、SE(3) 掴みを直接回帰する単発の掴み提案ネットワークを開発する。
• 新規のグリッパ接触モデルを用いた、物理的に妥当で密集した合成トレーニングデータセットを作成する。
• アノーマルな（欠損・ノイズのある）深度データに対する頑健性を、アモーダルな掴み予測とシーン解析で確保する。

提案手法

• PointNet++ に基づく単発の掴み提案ネットワークを提案し、各点に 6-DoF 掴み姿勢と品質スコアを割り当てる。
• 6-DoF 回転を連続的な 6D 回転表現で表し、グリッパの対称性を考慮した回転損失を用いる。
• フォース・クローズの概念を用いたグリッパ接触モデルを開発し、 antipodal および占有ベースの掴みスコアを生成する。
• MuJoCo と V-HACD を用いて現実的なトレーニングデータを作成する物理的に妥当な乱雑シーンを合成し、ノイズのある深度ビューをレンダリングする。
• 局所幾何と全体幾何を組み合わせて、密集した乱雑さの中で衝突のない掴みを予測し、続いて非最大抑制と確率的サンプリングで実行可能な掴みを得る。

実験結果

リサーチクエスチョン

• RQ1 単一視点の部分点群から、乱雑なシーンで実行可能で衝突のない 6-DoF 掴みを予測できる単発の SE(3) 掴み検出器は成立するか。
• RQ2 シーンデータから直接掴み提案を回帰する学習は、乱雑さとノイズの下でサンプリングベースのアプローチよりも優れているか。
• RQ3 現実的なグリッパ接触モデルを持つ合成データは、現実世界の乱雑な操作タスクへどの程度一般化するか。
• RQ4 高密度のシーンでの成功率に対して、6-DoF（SE(3)）予測と従来の 3/4-DoF アプローチの影響はどの程度か。

主な発見

• 本手法は各点に対して直接 6-DoF 掴みを回帰し、乱雑なシーンで堅牢な性能を達成する。
• シミュレーションでは、 antipodal スコアとノイズ下の衝突のない掴みにおいて、GPD 系統や PointNetGPD といったベースラインよりも優れている。
• ロボット実験では、S4G は成功率および完了率が高く（例: 成功率 77.1%、完了率 92.5%）、ベースラインと比べて推論時間が短い（約 12.6 ms per grasp）。
• SE(3) 掴みの回帰は、様々なシーン密度下で 3/4-DoF 掴みよりも優れた能力を示すリコール 63.38%。
• NMS と確率的サンプリングを通じて実行可能な掴みを効率的に生成するパイプラインにより、乱雑な環境でのリアルタイムまたはほぼリアルタイムの操作が可能。