[論文レビュー] Vision-based Robotic Grasp Detection From Object Localization, Object Pose Estimation To Grasp Estimation: A Review

Guoguang Du, Kai Wang+2 more|arXiv (Cornell University)|May 16, 2019

Robot Manipulation and Learning参考文献 134被引用数 7

ひとこと要約

本調査は、RGB-D入力を用いた視覚ベースのロボットグリップ検出を、3つのコアタスクである物体局在、6次元物体ポーズ推定、グリップ推定に体系的に分解して分析することで、視覚ベースのロボットグリップ検出をレビューする。伝統的手法とディープラーニングベースの手法をこれらのタスク全体で比較し、エンドツーエンドのアプローチを強調し、分野における最先端の結果、データセット、および未解決の課題を要約する。

ABSTRACT

This paper presents a comprehensive survey on vision-based robotic grasp detection methods. We concluded three key tasks during robotic grasping, which are object localization, object pose estimation and grasp estimation. In detail, object localization task contains object localization without classification, object detection and object instance segmentation. This task provides the regions of the target object in the input data. Object pose estimation mainly refers to estimating the 6D object pose and includes correspondence-based methods, template-based methods and voting-based methods, which affords the generation of grasp poses. Grasp estimation includes 2D planar grasp methods and 6DoF grasp methods, where the former is constrained to grasp from one direction. All the above subtasks are reviewed with traditional methods and latest deep learning-based methods based on the RGB-D image inputs. These three subtasks could accomplish the robotic grasping task with different combinations. Some object pose estimation methods need not object localization, and they conduct object localization and object pose estimation jointly. Some grasp estimation methods need not object localization and object pose estimation, and they conduct grasp estimation in an end-to-end manner. These methods are reviewed elaborately in this survey and related datasets and comparisons between state-of-the-art methods are summarized. In addition, challenges about vision-based robotic grasping, and future directions in addressing these challenges are also pointed out.

研究の動機と目的

• 視覚ベースのロボットグリップ検出を、物体局在、物体ポーズ推定、グリップ推定という3つの主要なタスクに分解することで、構造的な概要を提供すること。
• RGB-D画像入力を用いて、各サブタスクにおける伝統的手法とディープラーニングベースの手法を分析・比較すること。
• 共同局在・ポーズ推定やエンドツーエンドのグリップ予測を含む、メソドロジーのトレンドを特定し、その性能を評価すること。
• 分野における最先端の手法のための公開済みデータセットおよびベンチマーク結果を要約すること。
• 視覚ベースのロボットグリップ検出における継続的な課題を特定し、今後の研究方向性を提案すること。

提案手法

• 物体局在を3つのサブタイプに分類する：分類なしの局在、物体検出、インスタンスセグメンテーション。これらはすべて、RGB-Dデータ内の物体領域を特定することを目的としている。
• 6次元物体ポーズ推定手法を3つのカテゴリーに分類する：対応ベース（例：ICP、RANSAC）、テンプレートベース（例：3次元モデルの使用）、投票ベース（例：ハフ類似手法）で、ポーズ回帰を目的とする。
• グリップ推定を2次元平面グリップ（単一方向）と6自由度（6DoF）グリップ（完全な空間ポーズ）に分類し、従来の幾何的アプローチからディープラーニングベースの回帰に至るまでの方法を含む。
• 明示的な局在やポーズ推定を回避し、入力画像から直接グリップ候補を予測するエンドツーエンドのグリップ検出手法を分析する。
• 標準ベンチマークとデータセットを用いて、性能を評価し、さまざまなシナリオにおける精度、推論速度、耐障害性を比較する。
• タスク全体の知見を統合し、完全なロボットグリップパイプラインにおける局在、ポーズ、グリップ推定の相互作用を強調する。

実験結果

リサーチクエスチョン

• RQ1 RGB-Dデータを用いた物体局在、ポーズ推定、グリップ予測において、伝統的手法とディープラーニングベースの手法はどのように比較されるか？
• RQ2 モジュラーなアプローチ（分離された局在、ポーズ、グリップ）とエンドツーエンドのグリップ検出の間には、どのようなトレードオフがあるか？
• RQ3 6次元物体ポーズ推定において、対応ベース、テンプレートベース、投票ベースのどの手法カテゴリーが最高の精度を達成するか？
• RQ4 2次元平面グリップ手法と6DoFグリップ推定手法は、性能と適用可能性においてどのように異なるか？
• RQ5 現在の文献で特定された、視覚ベースのロボットグリップ検出における主な課題と未解決の研究方向性は何か？

主な発見

• 十分なトレーニングデータが利用可能な場合、ディープラーニングベースの手法は、物体局在、ポーズ推定、グリップ予測の各分野で、伝統的手法を著しく上回る性能を示す。
• エンドツーエンドのグリップ検出手法は、物体局在やポーズ推定といった中間段階への依存を軽減し、ごみが多いシーンでも推論速度と耐障害性の両方を向上させる。
• 正確な3次元物体モデルが利用可能な場合、RANSAC や ICP を用いた対応ベースの手法は、6次元ポーズ推定において依然として有効である。
• テンプレートベースの手法は、既知の物体モデルがある制御された環境では優れた性能を示すが、遮蔽や変化には弱い。
• 投票ベースの手法は、ノイズや部分的観測に対して耐性があり、実世界のロボットアプリケーションに適している。
• 進展は見られるが、物体カテゴリ間での一般化、遮蔽の処理、複雑なシーンにおけるリアルタイム性能の達成といった課題は依然として残っている。