[論文レビュー] Real-world Multi-object, Multi-grasp Detection

Fu-Jen Chu, Ruinian Xu+1 more|arXiv (Cornell University)|Feb 1, 2018

Robot Manipulation and Learning被引用数 13

ひとこと要約

本論文では、RGB-D画像における1つまたは複数の物体に対して、リアルタイムで1回の推論で複数の把持候補を検出する深層学習ベースの手法を提案する。把持方向の予測を、null（把持不可）クラスを含む分類問題として定式化することで、モデルのロバスト性と精度が向上し、コーン大学データセットでは96.1%のオブジェクト単位の精度を達成し、7-DOFロボットを用いた実世界実験でも89.0%の把持成功率を記録した。推論時間は1回あたり0.25秒未塔。

ABSTRACT

A deep learning architecture is proposed to predict graspable locations for robotic manipulation. It considers situations where no, one, or multiple object(s) are seen. By defining the learning problem to be classification with null hypothesis competition instead of regression, the deep neural network with RGB-D image input predicts multiple grasp candidates for a single object or multiple objects, in a single shot. The method outperforms state-of-the-art approaches on the Cornell dataset with 96.0% and 96.1% accuracy on image-wise and object- wise splits, respectively. Evaluation on a multi-object dataset illustrates the generalization capability of the architecture. Grasping experiments achieve 96.0% grasp localization and 88.0% grasping success rates on a test set of household objects. The real-time process takes less than .25 s from image to plan.

研究の動機と目的

• 複雑な実世界のシーンにおける1つまたは複数の物体に対して、複数の有効な把持構成を検出する課題に対処すること。
• 分類手法を用いて回帰ベースの方向予測を置き換え、特に「把持不可」クラスを追加することで、曇りやすい領域を除外し、把持検出のロバスト性を向上させること。
• 高速な推論（<0.25秒）を確保しつつ、多様な家庭用オブジェクトにおいて高い精度を維持することで、リアルタイムなロボット操作を可能にすること。
• 新しく収集した複数オブジェクト・複数把持データセットを用いて、汎化性能を評価すること。

提案手法

• モデルはRGB-D入力を用い、ResNet-50バックボーンで特徴を抽出し、従来の回帰手法に代えて分類手法を用いて把持方向を予測する。
• 把持領域提案ネットワークが潜在的な把持領域を特定し、その後に続く分類ヘッドが離散的な把持角度と「no-grasp」クラスを予測することで、誤検出を抑制する。
• アーキテクチャは、把持提案と分類の分岐をエンドツーエンドで統合しており、複数の把持候補の局所化を向上させるための共同最適化を可能にする。
• ネットワークは1回の順伝播でバウンディングボックスのパラメータと把持方向の分類クラスを同時に予測するマルチタスク学習の枠組みを採用する。
• 深度情報をRGB入力と融合する際、1つの色チャンネルを深度に置き換えることで、モデルサイズを維持しつつ性能を向上させる。
• システムは信頼度スコアを伴う複数の把持候補を出力し、後続の計画処理で最適な把持を選択可能にする。

実験結果

リサーチクエスチョン

• RQ1 1回の推論パスで、1つまたは複数のオブジェクトに対して複数の把持候補を効果的に検出できる深層学習モデルは存在するか？
• RQ2 nullクラスを含む分類手法を用いることで、回帰手法と比較して、検出精度とロバスト性がどのように向上するか？
• RQ3 標準的なコーン大学ベンチマークを越えて、実世界の複数オブジェクト・複数把持シナリオにおけるモデルの性能はいかがなものか？
• RQ4 把持提案と分類の統合は、局所化精度の向上と誤検出の低減にどのように寄与するか？
• RQ5 7-DOFマニピュレータ上で、システムのリアルタイム推論速度と物理的把持成功率はどの程度か？

主な発見

• コーン大学データセットでは、画像単位で96.0%、オブジェクト単位で96.1%の精度を達成し、最先端手法を上回った。
• 新しく収集した複数オブジェクト・複数把持データセットでは、1枚あたり1.0件の誤検出と低めの把持漏れ率を維持した。
• 7-DOFロボットを用いた物理的把持実験では、89.0%の成功率を記録し、推論と計画処理が0.25秒未塔で完了した。
• アブレーションスタディの結果、把持提案と方向分類の追加が性能向上に顕著に寄与しており、完全なモデル（f）では96.1%のオブジェクト単位の精度を達成した。
• RGBのみのバージョンでも良好な性能（オブジェクト単位で88.1%）を示しており、深度情報が有益であるものの、高精度を達成する上で必須ではないことが示された。
• 実世界の複雑なシーンや多様な家庭用オブジェクトに対しても、強力な汎化性能を示し、予測された把持候補を物理的実行に使用した際の性能低下はわずかに8.3%にとどまった。