[論文レビュー] Vision-based Robotic Grasping from Object Localization, Pose Estimation, Grasp Detection to Motion Planning: A Review.

Guoguang Du, Kai Wang+1 more|arXiv (Cornell University)|May 16, 2019

Robot Manipulation and Learning参考文献 82被引用数 53

ひとこと要約

本調査は、視覚ベースのロボットグリッピングを、物体局在、6次元（6D）ポーズ推定、グリップ検出の3つのコアタスクに体系的に分析することでレビューする。RGB-D入力を用いた従来手法およびディープラーニングベースの手法を評価し、最先端のアプローチを強調し、ベンチマーク用データセットを提示するとともに、エンドツーエンドのグリッピングシステムにおける主な課題と今後の方向性を特定する。

ABSTRACT

This paper presents a comprehensive survey on vision-based robotic grasping. We conclude three key tasks during vision-based robotic grasping, which are object localization, object pose estimation and grasp estimation. In detail, the object localization task contains object localization without classification, object detection and object instance segmentation. This task provides the regions of the target object in the input data. The object pose estimation task mainly refers to estimating the 6D object pose and includes correspondence-based methods, template-based methods and voting-based methods, which affords the generation of grasp poses for known objects. The grasp estimation task includes 2D planar grasp methods and 6DoF grasp methods, where the former is constrained to grasp from one direction. These three tasks could accomplish the robotic grasping with different combinations. Lots of object pose estimation methods need not object localization, and they conduct object localization and object pose estimation jointly. Lots of grasp estimation methods need not object localization and object pose estimation, and they conduct grasp estimation in an end-to-end manner. Both traditional methods and latest deep learning-based methods based on the RGB-D image inputs are reviewed elaborately in this survey. Related datasets and comparisons between state-of-the-art methods are summarized as well. In addition, challenges about vision-based robotic grasping and future directions in addressing these challenges are also pointed out.

研究の動機と目的

• 視覚ベースのロボットグリッピングにおける3つの基本的タスク（物体局在、6Dオブジェクトポーズ推定、グリップ推定）の構造的概要を提供すること。
• RGB-D画像入力を用いて、各タスクにおける従来手法とディープラーニングベースの手法を分析・比較すること。
• 物体局在、ポーズ推定、グリップ検出における既存のデータセットを要約し、最先端手法のベンチマーク性能を提示すること。
• 視覚ベースのロボットグリッピングにおける継続的な課題を特定し、より高いロバスト性と一般化性能を実現するための今後の研究方向性を示唆すること。
• 特に、物体局在、ポーズ推定、グリップ検出が統合的またはエンドツーエンドで実行される場合のタスク間の相互依存関係を明確にすること。

提案手法

• 物体局在を3つのサブタスクに分類する：分類なしの局在、オブジェクト検出、インスタンスセグメンテーション（ターゲットオブジェクト領域の特定）。
• 6Dオブジェクトポーズ推定手法を3つのパラダイムに分類してレビューする：対応ベース、テンプレートベース、投票ベースの技術（グリップ可能なポーズを生成）。
• グリップ推定を2次元平面グリップ（単一方向の制約あり）と6自由度（6DoF）グリップ（完全な空間的自由度）に分類し、それぞれのアプローチの特徴を分析する。
• 各タスクにおける従来手法とディープラーニングベースのモデルを評価し、RGB-Dデータを効果的に処理できるアーキテクチャとフレームワークに焦点を当てる。
• 物体局在、ポーズ推定、グリップ検出が個別に処理されるパイプラインを回避する、マルチタスク学習およびエンドツーエンドアプローチを統合する。
• 標準化されたベンチマークと公開済みのデータセットを用いて手法を比較し、精度、速度、一般化性能の面でのトレードオフを強調する。

実験結果

リサーチクエスチョン

• RQ1 検出、セグメンテーション、分類なしの局在といった異なる物体局在技術は、後続のグリッピング性能にどのように影響を与えるか？
• RQ2 対応ベース、テンプレートベース、投票ベースの手法は、6Dオブジェクトポーズ推定においてそれぞれどのような長所と短所を有するか？
• RQ3 2次元平面グリップと6DoFグリップ推定手法は、現実世界の制約下での適用性と性能において、どのように異なるか？
• RQ4 個別の局在およびポーズ推定段階を回避するエンドツーエンドアプローチは、グリッピングの効率性とロバスト性をどのように向上させるか？
• RQ5 ディープラーニングおよびセンサーフュージョンの進展にもかかわらず、未解決のまま残っている視覚ベースのロボットグリッピングにおける主な課題は何か？

主な発見

• 多くの最先端のグリップ推定手法はエンドツーエンドで動作し、明示的な物体局在およびポーズ推定段階の必要性を排除している。
• オブジェクトポーズ推定手法はしばしば局在とポーズ推定を1つのパイプラインで統合しており、効率性の向上と誤差伝搬の低減に寄与している。
• 物体局在およびグリップ検出におけるディープラーニングベースの手法は、特にごみの多い環境下で従来手法に比べて顕著な性能向上を達成している。
• RGB-Dデータの使用により、深さ情報を考慮した局在とグリップ計画が可能となり、特に6DoFグリップ推定において精度が向上している。
• 進展は見られるが、オブジェクトカテゴリ間での一般化、リアルタイム推論、オクルージョンや照明変動に対するロバスト性の面で課題が残っている。
• 標準化されたデータセットを用いたベンチマークでは、特に少サンプルおよびゼロショット一般化の状況で、手法間の性能格差が一貫して顕在している。