[論文レビュー] Towards Scale Balanced 6-DoF Grasp Detection in Cluttered Scenes

Haoxiang Ma, Di Huang|arXiv (Cornell University)|Dec 10, 2022

Robot Manipulation and Learning被引用数 9

ひとこと要約

本論文は、局所的幾何表現の向上のためのマルチスケールシリンダーグルーピング（MsCG）モジュール、トレーニング中に未代表的な小スケールサンプルを優遇するスケールバランス学習（SBL）損失、推論中に小オブジェクトに焦点を当てるオブジェクトバランスサンプリング（OBS）戦略を用いたスケールバランス型6-DoFグリップ検出フレームワークを提案する。本手法はGraspNet-1Billionで最先端の性能を達成し、新規オブジェクトで12.85%のAPを達成し、小スケールグリップ検出において顕著な向上を示し、実世界のロボットグリップ実験でも検証された。

ABSTRACT

In this paper, we focus on the problem of feature learning in the presence of scale imbalance for 6-DoF grasp detection and propose a novel approach to especially address the difficulty in dealing with small-scale samples. A Multi-scale Cylinder Grouping (MsCG) module is presented to enhance local geometry representation by combining multi-scale cylinder features and global context. Moreover, a Scale Balanced Learning (SBL) loss and an Object Balanced Sampling (OBS) strategy are designed, where SBL enlarges the gradients of the samples whose scales are in low frequency by apriori weights while OBS captures more points on small-scale objects with the help of an auxiliary segmentation network. They alleviate the influence of the uneven distribution of grasp scales in training and inference respectively. In addition, Noisy-clean Mix (NcM) data augmentation is introduced to facilitate training, aiming to bridge the domain gap between synthetic and raw scenes in an efficient way by generating more data which mix them into single ones at instance-level. Extensive experiments are conducted on the GraspNet-1Billion benchmark and competitive results are reached with significant gains on small-scale cases. Besides, the performance of real-world grasping highlights its generalization ability. Our code is available at https://github.com/mahaoxiang822/Scale-Balanced-Grasp.

研究の動機と目的

• 混雑した3次元シーンにおける小スケールグリップ検出の性能が低い問題に対処すること。これは、グリップスケールの不均衡な分布のため、現在の手法が大・中スケールオブジェクトに偏っているためである。
• 小スケールまたは細長いオブジェクトの局所的幾何表現を向上させること。これは、新規のマルチスケールシリンダーグルーピング（MsCG）モジュールを用いて、複数スケールの構造的特徴を捉えることで実現する。
• トレーニング中にスケール分布の不均衡が及える悪影響を軽減すること。これは、低頻度（小スケール）のスケールに対して勾配を強化するスケールバランス学習（SBL）損失を用いることで達成する。
• 推論中の小オブジェクトに対するロバスト性を向上させること。これは、補助セグメンテーションネットワークを用いて小スケールオブジェクトを特定し、それらの点を優先的にサンプリングするオブジェクトバランスサンプリング（OBS）戦略を導入することで実現する。
• 合成と実世界のRGB-Dデータのドメインギャップを埋めること。これは、インスタンスレベルでクリアな点群とノイジィな点群を混合するノイジィ・クリーンミックス（NcM）データ拡張法を提案することで達成する。

提案手法

• マルチスケールシリンダーグルーピング（MsCG）モジュールは、複数スケールでのシリンダーフィーチャーを集約し、局所的幾何表現を豊かにするとともに、グローバルな文脈を埋め込むことで、微細な形状の区別を向上させる。
• スケールバランス学習（SBL）損失は、グリップスケールの頻度に基づくクラスに依存する事前重みを勾配に適用し、トレーニング中に未代表的な小スケールグリップに対して最適化信号を強化する。
• オブジェクトバランスサンプリング（OBS）戦略は、補助セグメンテーションネットワークを用いて小スケールオブジェクトを特定し、推論時にそれらからより多くの点をサンプリングすることで、検出感度を向上させる。
• ノイジィ・クリーンミックス（NcM）データ拡張法は、インスタンスレベルでクリアな合成点群と実際のノイジィなスキャンを混合し、センサーノイズに強いモデルを生成する。
• 全体的なフレームワークは、MsCGによる特徴抽出、SBLによる損失重み付け、OBSによる推論時のサンプリング戦略、NcMによるデータ拡張を統合し、エンドツーエンドの6-DoFグリップ検出パイプラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 混雑したシーンにおける点群密度が限られる小スケールまたは細長いオブジェクトに対して、どのように局所的幾何表現を向上させられるか？
• RQ2 トレーニング中にスケール分布の不均衡が及える悪影響を軽減するために、損失関数をどの程度設計できるか？
• RQ3 再トレーニングなしに推論時のサンプリング戦略を用いることで、小スケールオブジェクトのグリップ検出性能を向上させられるか？
• RQ4 インスタンスレベルでのノイジィ・クリーンミックスデータ拡張は、合成データと実世界RGB-Dデータのドメインギャップをどの程度軽減できるか？
• RQ5 提案されたフレームワークは、特に小スケールまたは取りにくいオブジェクトに対して、実世界のロボットグリップタスクに一般化可能か？

主な発見

• 提案手法は、GraspNet-1Billionベンチマークにおいて、既知オブジェクトで63.83%、類似オブジェクトで58.46%、新規オブジェクトで24.63%のAPを達成し、小スケールグリップ検出において従来手法を顕著に上回った。
• 新規オブジェクトでは、CD（衝突検出）ヘッドを用いて12.85%のAPを達成し、ベースラインと比較して10.0%の絶対的向上を示し、未観測オブジェクトへの汎化性能が優れていることを裏付けた。
• 実世界実験では、孤立した小スケールオブジェクト（GSS）に対して80.00%の成功率を達成し、ベースラインの56.67%を上回り、小スケールグリップの処理効果を確認した。
• 5〜6個のオブジェクトが混在する混雑したシーンでは、88.24%の成功率と96.77%のシーン完了率を達成し、両方の指標でベースラインを上回り、複雑な環境下でもロバストであることを示した。
• アブレーションスタディにより、MsCG、SBL、OBS、NcMの各コンポーネントが性能向上に寄与していることが確認され、すべての指標で組み合わせが最良の結果をもたらした。