[論文レビュー] 6D Object Detection and Next-Best-View Prediction in the Crowd.

Andreas Doumanoglou, Rigas Kouskouridas+2 more|arXiv (Cornell University)|Dec 23, 2015

Advanced Neural Network Applications被引用数 11

ひとこと要約

本稿では、スパース自己符号化器とハフフォレストを用いた教師なし特徴学習により、混雑で遮蔽のひどいシーンにおける6次元オブジェクト検出および次に最良のビューを予測する、新規でエンド・ツー・エンドのフレームワークを提案する。本手法は、ポーズ推定の精度と不確実性の低減を同時に達成し、アクティブなビジョン認識において最先端の手法を上回る性能を示している。

ABSTRACT

6D object detection and pose estimation in the crowd (scenes with multiple object instances, severe foreground occlusions and background distractors), has become an important problem in many rapidly evolving technological areas such as robotics and augmented reality. Single shot-based 6D pose estimators with manually designed features are still unable to tackle the above challenges, motivating the research towards unsupervised feature learning and next-best-view estimation. In this work, we present a complete framework for both single shot-based 6D object pose estimation and next-best-view prediction based on Hough Forests, the state of the art object pose estimator that performs classification and regression jointly. Rather than using manually designed features we a) propose an unsupervised feature learnt from depth-invariant patches using a Sparse Autoencoder and b) offer an extensive evaluation of various state of the art features. Furthermore, taking advantage of the clustering performed in the leaf nodes of Hough Forests, we learn to estimate the reduction of uncertainty in other views, formulating the problem of selecting the next-best-view. To further improve 6D object pose estimation, we propose an improved joint registration and hypotheses verification module as a final refinement step to reject false detections. We provide two additional challenging datasets inspired from realistic scenarios to extensively evaluate the state of the art and our framework. One is related to domestic environments and the other depicts a bin-picking scenario mostly found in industrial settings. We show that our framework significantly outperforms state of the art both on public and on our datasets.

研究の動機と目的

• 複数のオブジェクトインスタンスと背景のゴミが混在する複雑なシーンにおける6次元オブジェクトポーズ推定の課題に対処すること。
• 複雑な現実世界環境において手作業で設計された特徴に依存する単一ショット6次元ポーズ推定器の限界を克服すること。
• ハフフォレストのリーフノードにおけるクラスタリング構造を活用して、不確実性を低減する最適な次に最良のビューを予測するシステムを開発すること。
• 幾何的一致性のチェックを通じて誤検出をフィルタリングする、ポーズ予測の精度を高める統合登録および仮説検証モジュールを改善すること。
• 既存のベンチマークをはるかに超える、家庭および産業用のビンピッキングシナリオを反映した2つの新しいリアルなデータセット上で、フレームワークを評価すること。

提案手法

• スパース自己符号化器を用いて、教師なしの方法で局所的な画像パッチから深さ不変の特徴を学習し、手作業で設計された特徴に置き換える。
• ハフフォレストをポーズ推定のコアとして使用し、学習された特徴を用いて6次元オブジェクトポーズの分類と回帰を同時に実行する。
• ハフフォレストのリーフノードにおけるクラスタリング構造を活用して、不確実性低減を視点ごとにモデル化することで、次に最良のビューを予測する。
• 統合登録および仮説検証モジュールを導入し、幾何的一致性のチェックを通じてポーズ予測を精緻化し、誤検出をフィルタリングする。
• エンド・ツー・エンドにフレームワークを訓練および評価し、公開ベンチマークおよび2つの新規に導入された、現実世界の家庭および産業環境を反映する困難なデータセットを対象とする。
• 同じ実験環境下で、提案手法の教師なし特徴と複数の最先端の特徴学習手法の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 深さ不変のパッチからの教師なし特徴学習は、手作業で設計された特徴と比較して、極度に遮蔽され混雑したシーンにおける6次元オブジェクトポーズ推定の精度を向上させることができるか？
• RQ2 ハフフォレストのクラスタリング構造をどれほど効果的に活用することで、ポーズ推定の不確実性を最大限に低減する次に最良のビューを予測できるか？
• RQ3 提案された統合登録および仮説検証モジュールは、ごみが多く混在する環境における誤検出に対する耐性をどのように向上させるか？
• RQ4 本フレームワークは、標準的なベンチマークをはるかに超える現実世界のシナリオ、特に家庭および産業環境において一般化可能か？
• RQ5 本フレームワークは、公開データセットおよび新規に導入されたデータセットの両方において、最先端の手法に比べてどの程度の相対的性能向上を達成するか？

主な発見

• スパース自己符号化器による教師なし特徴学習は、従来の手作業で設計された特徴と比較して、混雑で遮蔽のひどいシーンにおける6次元オブジェクトポーズ推定の精度を顕著に向上させた。
• ハフフォレストのクラスタリング構造に基づく次に最良のビュー予測モジュールは、ポーズ推定の不確実性を効果的に低減し、より効率的なアクティブビジョン認識を可能にした。
• 統合登録および仮説検証モジュールは、多数の誤検出を効果的に排除し、全体の検出信頼性を向上させた。
• 本フレームワークは、公開ベンチマークおよび2つの新規に導入されたデータセット（家庭およびビンピッキングシナリオ）の両方で最先端の性能を達成し、優れた一般化能力を示した。
• 定量的評価では、すべてのテストシナリオにおいて平均平均適合度（mAP）および6次元ポーズ推定の成功確率が顕著に向上しており、特に高遮蔽条件下で顕著な改善が得られた。
• アブレーションスタディにより、各モジュールの有効性が確認され、教師なし特徴学習および不確実性に基づくビュー選択が、性能向上に最も寄与していることが判明した。