[論文レビュー] Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects

Jonathan Tremblay, Thang To+4 more|arXiv (Cornell University)|Sep 27, 2018

Robot Manipulation and Learning被引用数 282

ひとこと要約

DOPEは、単一のRGB画像から既知の物体の6-DoF姿勢推定を、ドメインランダム化とフォトリアリスティックデータを組み合わせた合成データと多段階信念マップネットワークを用いて実現し、実データなしで最先端クラスの性能に近い性能を達成し、リアルタイムの意味的把握を可能にする。

ABSTRACT

Using synthetic data for training deep neural networks for robotic manipulation holds the promise of an almost unlimited amount of pre-labeled training data, generated safely out of harm's way. One of the key challenges of synthetic data, to date, has been to bridge the so-called reality gap, so that networks trained on synthetic data operate correctly when exposed to real-world data. We explore the reality gap in the context of 6-DoF pose estimation of known objects from a single RGB image. We show that for this problem the reality gap can be successfully spanned by a simple combination of domain randomized and photorealistic data. Using synthetic data generated in this manner, we introduce a one-shot deep neural network that is able to perform competitively against a state-of-the-art network trained on a combination of real and synthetic data. To our knowledge, this is the first deep network trained only on synthetic data that is able to achieve state-of-the-art performance on 6-DoF object pose estimation. Our network also generalizes better to novel environments including extreme lighting conditions, for which we show qualitative results. Using this network we demonstrate a real-time system estimating object poses with sufficient accuracy for real-world semantic grasping of known household objects in clutter by a real robot.

研究の動機と目的

• 混雑したシーンで既知の家庭用物体の6-DoF姿勢推定をロバストに行うことを動機づける。
• ドメインランダム化とフォトリアリスティックレンダリングを組み合わせて現実性ギャップを埋める。
• 実データのファイニングを行わず、2Dキーポイント信念を推定してPnPで6-DoF姿勢を回復する、単純でリアルタイムなネットワークを開発する。
• 合成データで訓練されたDOPEが実世界の意味的把 graspingタスクをサポートできることを示す。

提案手法

• 物体境界ボックスの2Dキーポイントと対応するベクトル場の信念マップを推定するワンショットの完全畳み込みネットワーク。
• 前段階の出力を取り入れて予測を精錬する段階的処理（マルチステージCPM風アーキテクチャ）。
• 検出された射影頂点と既知の内部パラメータ・幾何から、標準的なperspective-n-point（PnP）アルゴリズムを用いて最終的な6-DoF姿勢を回復する。
• 合成データ生成は、DR（Domain Randomized）シーンとディストラクターを組み合わせ、照明・テクスチャ・背景を変化させ、フォトリアリスティックデータをUnreal Engine 4（FAT dataset）から利用する。
• 信念マップとベクトル場のL2ロスを各段階で計算して勾配消失を抑制する。
• トレーニングはVGG-19特徴量、3つの出力ブランチ（信念マップとベクトル場）、PyTorchで実装。

実験結果

リサーチクエスチョン

• RQ1 合成データのみで訓練されたニューラルネットワークは、既知の物体の実画像に対して競争力のある6-DoF姿勢推定を達成できるか？
• RQ2 ドメインランダム化とフォトリアリスティック合成データを組み合わせると、いずれか一方のみを用いる場合と比べてドメイン間一般化が改善されるか？
• RQ3 混雑した環境でのリアルタイム意味的把握のために、得られた姿勢推定は十分な精度を提供するか？
• RQ4 提案されたDOPEフレームワークは、PoseCNNなど実データで訓練された最先端手法と標準ベンチマークでどのように比較されるか？
• RQ5 ネットワークの深さ（段階数）とデータセットサイズが姿勢推定の精度と速度に与える影響はどの程度か？

主な発見

• 合成データで訓練されたDOPEネットワークはYCB-Video上でPoseCNNと比較して競争力のある6-DoF姿勢推定を実現し、DOPEは複数の物体と状況でPoseCNNを上回ることが多い。
• DR+フォトリアリスティックデータで訓練されたDOPEは、極端な照明や異なるカメラに対するAUCと堅牢性で最高を達成し、実データ訓練ベースラインを上回る。
• YCB-Videoデータセットでは、DR+photoトレーニングを用いたDOPEはAUC77.00を達成し、DRまたはphoto単独より高く、多くの物体でPoseCNNより一般的に優れている。
• 極端な照明シナリオでも、Syntheticデータのみで訓練されたDOPEはPoseCNNよりも堅牢で正確な姿勢を示す。
• 段階数を増やすと精度が向上する（例：1→6段階でAUCが高くなる）が、実行時間は57 msから232 msへと速度が低下する。
• Baxterロボットを用いたロボット実験では、複数の物体でグリップに成功し、閉ループリファインメントなしで実世界の意味的把 graspingに姿勢が十分であることを示した。