[論文レビュー] Multi-view Self-supervised Deep Learning for 6D Pose Estimation in the Amazon Picking Challenge

Andy Zeng, Kuan‐Ting Yu+5 more|arXiv (Cornell University)|Sep 29, 2016

Robotics and Sensor-Based Localization参考文献 13被引用数 35

ひとこと要約

本論文は、RGB-Dデータと完全畳み込みニューラルネットワークを用いて複数の視点から物体をセグメンテーションし、その後3Dモデルフィッティングを行うことで、ごみくずが多く、現実の倉庫環境における6次元物体ポーズ推定を目的としたマルチビュー自己教師付き深層学習手法を提示する。主な貢献は、13万枚の合成されたピクセル単位のラベル付き画像を生成する自己教師付き手法であり、これによりAPC 2016ベンチマークで平均回転精度49.8%、平均変位精度66.1%を達成する。

ABSTRACT

Robot warehouse automation has attracted significant interest in recent years, perhaps most visibly in the Amazon Picking Challenge (APC). A fully autonomous warehouse pick-and-place system requires robust vision that reliably recognizes and locates objects amid cluttered environments, self-occlusions, sensor noise, and a large variety of objects. In this paper we present an approach that leverages multi-view RGB-D data and self-supervised, data-driven learning to overcome those difficulties. The approach was part of the MIT-Princeton Team system that took 3rd- and 4th- place in the stowing and picking tasks, respectively at APC 2016. In the proposed approach, we segment and label multiple views of a scene with a fully convolutional neural network, and then fit pre-scanned 3D object models to the resulting segmentation to get the 6D object pose. Training a deep neural network for segmentation typically requires a large amount of training data. We propose a self-supervised method to generate a large labeled dataset without tedious manual segmentation. We demonstrate that our system can reliably estimate the 6D pose of objects under a variety of scenarios. All code, data, and benchmarks are available at http://apc.cs.princeton.edu/

研究の動機と目的

• 実際のアノテーションが限られている状況において、ごみくずが多く、遮蔽やノイズが強い倉庫環境における、頑健な6次元物体ポーズ推定の課題に対処すること。
• 手動アノテーションなしで大規模かつ合成されたピクセル単位のラベル付きトレーニングデータを生成することで、深層セグメンテーションネットワークのトレーニングにおけるデータ不足問題を克服すること。
• マルチビューRGB-Dデータと既知のタスク制約（例：物体リスト、シェルフモデル）を活用して、ポーズ推定の頑健性と正確性を向上させること。
• グリッパーおよびスィングションベースのピッキング戦略を両方サポートするロボット操作とシームレスに統合されたビジョンシステムを設計すること。
• 477のシーンから得た7,000枚以上の手動ラベル付き画像を含む、公開可能なベンチマークデータセットを提供すること、6次元ポーズ推定の評価を目的とする。

提案手法

• ロボットシステムに搭載されたIntel RealSenseカメラを用いて、15〜18枚のマルチビューRGB-D画像をシーンごとに取得する。
• 各カラー画像を完全畳み込みニューラルネットワーク（FCN）に供給し、2次元インスタンスセグメンテーションを実行し、ピクセル単位のカテゴリーラベルを出力する。
• カメラキャリブレーションと深度データを用いて、2次元セグメンテーションマスクを3次元点群に統合し、3次元物体位置特定を可能にする。
• バックグラウンド除去と3次元モデルフィッティング（ICPまたは類似手法を用いて）を適用し、事前にスキャンした3次元CADモデルをセグメンテーションされた点群に一致させ、6次元ポーズを推定する。
• 自己教師付きトレーニング手順を採用：物体リストとシェルフモデルを用いて、既知のシーンに物体を配置するシミュレーションを行い、真値セグメンテーションラベル付きの合成RGB-D画像をレンダリングする。
• FCNを13万枚の自己生成された合成画像でトレーニングし、手動アノテーションを回避するために、既知のシーンの幾何構造と物体モデルを活用する。

実験結果

リサーチクエスチョン

• RQ1 実世界のアノテート済みデータが限られている状況で、自己教師付きデータ生成が6次元ポーズ推定性能を顕著に向上させることができるか？
• RQ2 1ショット法と比較して、複数視点融合が、ごみくずが多く、遮蔽やノイズが強い倉庫シーンにおいて、どのように頑健性を向上させるか？
• RQ3 タスク固有の制約（例：既知の物体リスト、シェルフモデル）が、セグメンテーションのための効果的な自己教師付き学習を可能にする程度はどの程度か？
• RQ4 困難なポーズ推定シナリオにおいて、マルチビュー入力と1ショット入力の性能向上の差はどの程度か？
• RQ5 透明性、反射性、小サイズの物体といった実環境要因（例：透明性、反射性、小サイズ）を考慮した場合、本手法は最先端の手法と比較して、正確性と頑健性の面でどの程度優れているか？

主な発見

• 本システム全体は、APC 2016チャレンジの全テスト環境において、平均回転精度49.8%、平均変位精度66.1%を達成した。
• 信頼度しきい値（例：conf-70）を用いることで、システムは回転精度64.5%、変位精度84.5%に向上し、信頼度フィルタリングが頑健性を向上させることを示した。
• 自己教師付きトレーニング手順により、13万枚の合成されたピクセル単位のラベル付き画像が生成され、手動アノテーションへの依存が顕著に減少した。
• 5v-10vおよび1v-2vのアブレーションスタディーでは、マルチビュー入力が、特に高ごみくず・高遮蔽状況において、1ショット入力よりも一貫して優れた性能を示した。
• ノイズ除去ステップやICPリファイニングを削除すると性能が低下し、センサーノイズやアライメント誤差の処理においてこれらのコンponentsの重要性が確認された。
• 真値セグメンテーションマスク（gt seg）を用いることで、性能は回転精度63.4%、変位精度88.1%に向上し、完全な教師あり状態での手法の潜在的上限を示した。