[論文レビュー] Deep Robotic Prediction with hierarchical RGB-D Fusion

Yaoxian Song, Jun Wen+2 more|arXiv (Cornell University)|Sep 14, 2019

Robot Manipulation and Learning参考文献 34被引用数 4

ひとこと要約

本論文は、アイインハンドカメラからの部分観測のみを用いて、非構造的3次元環境におけるリアルタイムロボット grasping を実現するための階層的RGB-D融合ネットワーク、UG-Net V3を提案する。深度の不確実性を定量化し、複数スケールでRGBと深度特徴を統合することで、ICP や3次元再構築に依存せずに90%を超える grasping 成功率を達成し、テーブルトップおよび3次元シナリオの両方で最先端の手法を上回る性能を発揮する。

ABSTRACT

Robotic arm grasping is a fundamental operation in robotic control task goals. Most current methods for robotic grasping focus on RGB-D policy in the table surface scenario or 3D point cloud analysis and inference in the 3D space. Comparing to these methods, we propose a novel real-time multimodal hierarchical encoder-decoder neural network that fuses RGB and depth data to realize robotic humanoid grasping in 3D space with only partial observation. The quantification of raw depth data's uncertainty and depth estimation fusing RGB is considered. We develop a general labeling method to label ground-truth on common RGB-D datasets. We evaluate the effectiveness and performance of our method on a physical robot setup and our method achieves over 90\% success rate in both table surface and 3D space scenarios.

研究の動機と目的

• アイインハンドカメラシステムからの部分観測のみを用いて、非構造的3次元環境におけるロバストなロボット grasping を実現すること。
• RGB または深度のみの単一モodal手法の限界を克服するため、マルチモーダルデータの統合によりノイズと不確実性を低減すること。
• ICP や3次元再構築などの時間のかかるステップを回避する、新規のエンドツーエンドディープラーニングフレームワークの開発。
• 人間によるアノテーションが不要な一般化されたラベル付け手法の開発を目的とし、既存のRGB-Dデータセットにマスクを付加して grasping ネットワークの学習を可能にする。
• 生の深度データにおける不確実性の定量化とRGB-D統合による深度再構築により、grasping の信頼性を向上させること。

提案手法

• RGB と深度特徴を複数スケールで統合するための階層的エンコーダーデコーダー型ニューラルネットワーク、UG-Net V3 を提案し、ロバストな grasp 予測を実現する。
• 生の深度画像における不確実性を定量化するための信頼度ネットワークを導入し、RGB 特徴を用いて欠損した深度値を再構築する。
• 6次元オブジェクトポーズ（x,y,z,γx,βy,αz）、グリッパーの向き、開口幅を組み合わせた新規な8次元 grasp 表現を採用する。
• 複雑な背景の干渉を低減するため、バックグラウンド抽出モジュールを導入する。
• 可能な場合、グリッパーの向きをターゲットオブジェクトの表面法線に合わせるため、表面法線推定を適用する。
• 予測された grasp ポイントをピクセル座標から3次元ポーズおよびグリッパー制御命令に変換するリアルタイム推論パイプラインを採用する。

実験結果

リサーチクエスチョン

• RQ1 部分観測の3次元環境におけるロボット grasping 性能を向上させるために、RGB と深度特徴の階層的統合は有効か？
• RQ2 生の深度データにおける不確実性の定量化は、grasping ポリシーのロバスト性にどのように影響するか？
• RQ3 RGB-D 統合により、ICP や3次元再構築を完全に不要とできるか？また、高い grasping 成功率を維持できるか？
• RQ4 観測視点（ピッチ角）の違いが、部分観測シナリオにおける grasping 性能に与える影響は何か？
• RQ5 既存のRGB-Dデータセットにオブジェクトマスクを付加することで、人間によるアノテーションなしに grasping ネットワークを学習可能な一般化ラベル付け手法を開発可能か？

主な発見

• 標準テストセットにおいて、本手法は95% ± 1% の成功率を達成し、テーブルトップおよび3次元シナリオの両方で90%を超える。
• アブレーションスタディの結果、信頼度ネットワークとバックグラウンド抽出モジュールの併用により、テストセットでの成功率が79%から95%に向上した。
• GQ-CNN（80%の成功率）および GG-CNN（84% ± 8%）に比べ、成功率とロバスト性の両面で優れている。
• 平均推論時間はわずか32msであり、GQ-CNN（800ms）に比べて著しく高速で、リアルタイムデプロイメントに適している。
• モデルサイズは19.6MBであり、GQ-CNN（75MB）に比べてより効率的で、リソース制限のあるシステムへのデプロイメントが可能である。
• ハウステストセットでは97% ± 1% のロバスト grasping 確率（RGR）を達成し、多様な条件下でも高い信頼性を示している。