[論文レビュー] Deep Learning for Detecting Robotic Grasps

Ian Lenz, Honglak Lee+1 more|arXiv (Cornell University)|Jan 16, 2013

Robot Manipulation and Learning被引用数 6

ひとこと要約

本稿では、色、深度、法線のデータを効果的に統合するためにマルチモーダルグループ正則化を用いた、2段階のディーブラーニングシステムを提案する。この手法は、エンドツーエンドで判別的な特徴を学習しながら、段階的推論によって計算効率を維持することで、実ロボット上での84–89%の成功率を達成し、手作業で設計された特徴量や先行するディープラーニング手法を上回る、最先端のグリップ検出性能を実現する。

ABSTRACT

We consider the problem of detecting robotic grasps in an RGB-D view of a scene containing objects. In this work, we apply a deep learning approach to solve this problem, which avoids time-consuming hand-design of features. This presents two main challenges. First, we need to evaluate a huge number of candidate grasps. In order to make detection fast, as well as robust, we present a two-step cascaded structure with two deep networks, where the top detections from the first are re-evaluated by the second. The first network has fewer features, is faster to run, and can effectively prune out unlikely candidate grasps. The second, with more features, is slower but has to run only on the top few detections. Second, we need to handle multimodal inputs well, for which we present a method to apply structured regularization on the weights based on multimodal group regularization. We demonstrate that our method outperforms the previous state-of-the-art methods in robotic grasp detection, and can be used to successfully execute grasps on two different robotic platforms.

研究の動機と目的

• 手作業で設計された特徴量に依存せずに、RGB-Dシーンにおけるロボットグリップ検出の課題に取り組むこと。
• エンドツーエンドでの特徴量学習を活用することで、性能と効率を向上させ、グリップ検出を改善すること。
• ネットワーク重みに対する構造化正則化を用いて、RGB、深度、法線といったマルチモーダル入力を統合する新規な手法を開発すること。
• 低信頼度の候補を早期に除外する2段階の段階的システムにより、グリップ検出における計算コストを低減すること。
• 実ロボットプラットフォーム上で検証を行い、未観測の物体に対しても堅牢な一般化性能を示すこと。

提案手法

• 2段階の段階的ディープラーニングシステム：最初のネットワークは少ない特徴量で高速かつ近似的な検出を実行し、2番目のネットワークはより多くの特徴量を用いて上位の検出結果を精緻化する。
• 最初の層の重みにマルチモーダルグループ正則化を適用し、各特徴量が関連する入力モダリティ（RGB、深度、法線）のみを活用するよう促進する。これにより、すべてのモダリティを強制的に使用するか、別々のモダリティ固有の特徴量を学習するのを避ける。
• ラベル付きグリップ矩形から直接特徴量を学習できるように、大規模なRGB-Dグリップ検出データセット上でエンドツーエンドで訓練される。
• 候補となるグリップはRGB-D画像内の2次元バウンディングボックスとして生成され、ネットワークは各々のグリップ品質スコアを予測する。
• 最終的なグリップポーズは、最高スコアの矩形に基づき選択され、グリッパーの向きは物体の表面法線に合わせられる。
• 本手法はBaxterおよびPR2ロボットに実装され、検出されたグリップ位置にグリッパーを誘導するヒューリスティックなビジョングイジングシステムが使用される。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングは、従来の手作業で設計された特徴量よりも優れた性能を発揮するように、ロボットグリップ検出問題に効果的に適用可能か？
• RQ2 カラーデータ、深度、法線といったマルチモーダルRGB-Dデータを、グリップ検出のためのディープラーニングフレームワークに効果的に統合する方法は何か？
• RQ3 段階的2段階のディープラーニングシステムは、計算コストを低減しつつ、検出精度を維持または向上させられるか？
• RQ4 マルチモーダル重みに対する構造化正則化は、より良い特徴量学習と向上したグリップ検出性能をもたらすか？
• RQ5 本システムは、実世界のロボットプラットフォームに一般化可能であり、多様で未観測の物体に対しても高い成功率を達成できるか？

主な発見

• 提案された2段階のディープラーニングシステムは、PR2ロボット上で89%、Baxterロボット上で84%のグリップ成功率を達成し、多様な未観測の物体に対して有効である。
• 同じRGB-Dグリップ検出ベンチマークにおいて、最先端の手作業で設計された特徴量や先行するディープラーニング手法を上回る性能を発揮する。
• マルチモーダルグループ正則化は、各特徴量が関連するモダリティのみを活用できるようにすることで、特徴量学習を著しく改善し、共有または別々のモダリティ学習よりも優れた検出性能をもたらす。
• 段階的システムにより、1段階のシステムと比較して計算コストを最大90%まで低減でき、同時に精度を維持または向上させられる。
• 未観測の物体に対しても良好な一般化性能を示し、学習された特徴量の堅牢性と転送可能性が確認された。
• 本手法は、2種類の異なるロボットプラットフォームでリアルタイムのグリップ実行を可能にし、閉ループ制御における実用性と堅牢性を実証した。