[論文レビュー] GraspNet: A Large-Scale Clustered and Densely Annotated Datase for Object Grasping.

Hao-Shu Fang, Chenxi Wang+2 more|arXiv (Cornell University)|Dec 31, 2019

Robot Manipulation and Learning参考文献 28被引用数 7

ひとこと要約

この論文では、クラスタ化されたシーンにおける物体の把持を目的として、87,040枚のRGBD画像と3億7000万以上のアノテートされた把持ポーズを備えた大規模なRGBDデータセットGraspNetを紹介する。本研究では、人的な正確なアノテーションを必要とせず、解析的計算によって把持成功を決定する統一された評価システムを提案し、把持ポーズ検出モデルの効率的かつ正確なベンチマーク評価を可能にする。

ABSTRACT

Object grasping is critical for many applications, which is also a challenging computer vision problem. However, for the clustered scene, current researches suffer from the problems of insufficient training data and the lacking of evaluation benchmarks. In this work, we contribute a large-scale grasp pose detection dataset with a unified evaluation system. Our dataset contains 87,040 RGBD images with over 370 million grasp poses. Meanwhile, our evaluation system directly reports whether a grasping is successful or not by analytic computation, which is able to evaluate any kind of grasp poses without exhausted labeling pose ground-truth. We conduct extensive experiments to show that our dataset and evaluation system can align well with real-world experiments. Our dataset, source code and models will be made publicly available.

研究の動機と目的

• クラスタ化されたシーンにおける物体の把持のための十分な学習データと標準化されたベンチマークの不足に対処すること。
• 現実世界のロボット操作に見られるような複雑でごみだらけの環境を捉える大規模で密にアノテートされたデータセットの開発。
• 人的な正確なアノテーションを必要とせず、物理的相互作用のシミュレーションによって解析的に把持成功を決定する統一された評価システムの構築。
• データセットと評価フレームワークを現実世界のロボット把持性能と密接に一致させること。

提案手法

• ロボットアームを用いて現実世界のシーンで複数の物体を含む状況を収集し、87,040枚のRGBD画像を取得。
• 合成生成と現実世界でのラベル付けを組み合わせることで、各画像に3億7000万以上の把持ポーズを密にアノテート。
• 物理的相互作用をシミュレートすることで解析的に把持成功を計算する新規の評価システムを提案。人的な正確なアノテーションに依存せず、ポーズの正確さを手動でラベル付けする必要がない。
• 任意の把持ポーズ予測手法をサポートし、幾何学的および物理的妥当性に基づいて成功または失敗を報告。
• 深層学習モデルによるごみだらけの環境における把持検出の学習と評価を可能にするようにデータセットを構造化。
• データセット全体、コード、および訓練済みモデルをすべて公開し、再現性とさらなる研究を支援。

実験結果

リサーチクエスチョン

• RQ1 大規模でクラスタ化され、密にアノテートされたRGBDデータセットを、物体把持研究を支援するようにどのように構築できるか？
• RQ2 人的な正確なアノテーションのポーズがなくても、解析的評価システムが正確に把持成功を判断できるか？
• RQ3 提案されたデータセットと評価システムは、現実世界のロボット把持性能とどの程度一致しているか？
• RQ4 GraspNetで訓練された把持検出モデルの性能は、現実世界の展開にどの程度一般化できるか？

主な発見

• GraspNetデータセットには、87,040枚のRGBD画像と3億7000万以上のアノテートされた把持ポーズが含まれており、物体把持のための最大級のデータセットの一つである。
• 解析的評価システムは、ポーズの正確さを手動でラベル付けする必要がなく、アノテーションコストを顕著に削減する。
• 広範な実験により、データセットの評価結果と現実世界のロボット把持結果との間に強い一致が示された。
• このデータセットと評価フレームワークにより、多様なごみだらけのシーンにおける把持検出モデルの信頼性と効率的なベンチマーク評価が可能になった。