[論文レビュー] Robotic Grasp Detection using Deep Convolutional Neural Networks

Sulabh Kumra, Christopher Kanan|arXiv (Cornell University)|Nov 24, 2016

Robot Manipulation and Learning参考文献 31被引用数 30

ひとこと要約

本稿では、リアルタイムで平行プレート型ロボットグリッパーの最適なグリップポーズを検出するためにRGBおよび深度画像を用いるマルチモーダルな深層畳み込みニューラルネットワーク（DCNN）を提案する。2つの50層の残差ネットワーク（RGB用および深度用）からの特徴を統合することで、コロンビアグリップデータセットにおいて89.21%の精度を達成し、先行研究を上回った。また、9.71 fpsで動作する。

ABSTRACT

Deep learning has significantly advanced computer vision and natural language processing. While there have been some successes in robotics using deep learning, it has not been widely adopted. In this paper, we present a novel robotic grasp detection system that predicts the best grasping pose of a parallel-plate robotic gripper for novel objects using the RGB-D image of the scene. The proposed model uses a deep convolutional neural network to extract features from the scene and then uses a shallow convolutional neural network to predict the grasp configuration for the object of interest. Our multi-modal model achieved an accuracy of 89.21% on the standard Cornell Grasp Dataset and runs at real-time speeds. This redefines the state-of-the-art for robotic grasp detection.

研究の動機と目的

• RGB-D画像を用いて、未知の物体の最適なグリップポーズを予測するリアルタイムのロボットグリップ検出システムの開発。
• 深層残差ネットワークとマルチモーダル入力（RGBおよび深度）を活用することで、既存のグリップ検出手法を改善すること。
• コロンビアグリップデータセットにおいて、先行研究を上回る高い精度と高速な推論速度を達成すること。
• 異なるデータ分割（画像単位およびオブジェクト単位）における単モーダル（RGBのみ）およびマルチモーダル（RGB-D）モデルの性能を評価すること。
• 修正されたバイナリ出力ヘッドを用いて、グリップ可能かどうかの予測が可能かどうかを検討すること。

提案手法

• ImageNetで事前学習された重みを初期値として用い、RGB画像を処理する1つの50層の深層残差ニューラルネットワーク（ResNet-50）と、深度マップを処理するもう1つのネットワークを用いる。
• 両ネットワークからの特徴マップを連結することで、シーンの統合的表現を形成する。
• 融合された特徴を浅い畳み込みネットワークに通し、5次元のグリップ配置（x, y, θ, width, score）を予測する。
• 限られたグリップデータでの特徴学習を向上させるために、ImageNetで事前学習済みの重みを用いた転移学習を適用する。
• 最終層をバイナリ全結合層に変更し、ソフトマックス活性化関数を用いてグリップ可能（グリップ可能 vs. 非可能）を予測する。これにより93.4%の精度を達成した。
• 一般化性能の評価を目的として、画像単位およびオブジェクト単位のデータ分割を用いてモデルの学習と評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 RGBおよび深度入力を用いた深層マルチモーダルDCNNアーキテクチャは、既存の最先端手法を上回るロボットグリップ検出精度を達成できるか？
• RQ2 RGBのみのモデルと比較して、深度データの導入がグリップ検出性能に与える影響は何か？
• RQ3 スキップ接続を備えたより深い残差ネットワークは、浅いアーキテクチャと比較して、グリップ特徴の学習をどの程度改善するか？
• RQ4 訓練中に見られなかった新しいオブジェクトに一般化できるか、特にオブジェクト単位のデータ分割下でどうか？
• RQ5 修正された出力層を用いることで、高精度なバイナリ分類（グリップ可能予測）が可能になるか？

主な発見

• 提案されたマルチモーダルDCNNは、コロンビアグリップデータセットで89.21%の精度を達成し、画像単位の分割では先行研究比14.94%、オブジェクト単位の分割では13.36%の向上を示した。
• モデルは9.71フレーム毎秒で動作し、Lenn et al.（0.02 fps） や Redmon et al.（3.31 fps）といった先行手法よりも顕著に高速であり、リアルタイムのグリップ検出を可能にした。
• マルチモーダルモデルは単モーダルのRGBのみのモデルを上回り、特にオブジェクト単位の分割において顕著な性能向上を示し、一般化に向けた深度情報の価値を裏付けた。
• 修正されたグリップ可能予測ヘッドは93.4%の精度を達成し、グリップ可能分類分野における現在の最先端技術と同等の性能を示した。
• 可視化比較（図9）では、マルチモーダルモデルが単モーダルモデルが失敗する状況（深度の手がかりや複雑なオブジェクトの向きを含む）においても有効なグリップを検出していることが示された。
• 誤検出（偽陰性）は、主に深度特徴が曖昧な場合（例：スリッパのストラップ）や、方向予測が不正確だった場合に発生しており、深度認識能力と回転方向の一般化能力の限界を示している。