[論文レビュー] DPOD: Dense 6D Pose Object Detector in RGB images

Sergey Zakharov, Ivan Shugurov+1 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Neural Network Applications参考文献 22被引用数 32

ひとこと要約

本論文では、RGB画像における6次元オブジェクトポーズ推定と検出を同時に行うリアルタイムでCNNベースの手法DPODを提案する。2次元-3次元対応点の密な予測とマルチクラスマスクを用いる。従来の2次元/3次元バウンディングボックスに依存する手法とは異なり、DPODはこれらの密な対応点をPnPとRANSACに組み合わせることで、顕著に向上したポーズ精度を達成し、単一オブジェクトおよび複数オブジェクトのベンチマークで最先端の手法を上回る。合成データでのみ学習された場合でも同様の性能を発揮する。

ABSTRACT

In this work we propose a new method for simultaneous object detection and 6DoF pose estimation. Unlike most recent techniques for CNN-based object detection and pose estimation, we do not base our approach on the common 2D counterparts, i.e. SSD and YOLO, but propose a new scheme. Instead of regressing 2D or 3D bounding boxes, we output full-sized 2D images containing multiclass object masks and dense 2D-3D correspondences. Having them at hand, a 6D pose is computed for each detected object using the PnP algorithm supplemented with RANSAC. This strategy allows for substantially better pose estimates due to a much higher number of relevant pose correspondences. Furthermore, the method is real-time capable, conceptually simple and not bound to any particular detection paradigms, such as R-CNN, SSD or YOLO. We test our method for single- and multiple-object pose estimation and compare the performance with the former state-of-the-art approaches. Moreover, we demonstrate how to use our pipeline when only synthetic renderings are available. In both cases, we outperform the former state-of-the-art by a large margin.

研究の動機と目的

• スパarsityやバウンディングボックスに基づく教師信号に依存する既存の6次元ポーズ推定手法の限界を解決し、ポーズ精度を制限する要因を軽減すること。
• R-CNN、SSD、YOLOなどの特定の検出アーキテクチャに依存しない、統合的かつリアルタイムな同時検出と6次元ポーズ推定フレームワークを構築すること。
• スパarsityキーポoinトやボックスベースの教師信号ではなく、密な2次元-3次元対応点を活用することで、ポーズ推定精度を向上させること。
• 高価な実世界のアノテート済みデータに依存することなく、合成RGBレンダリングのみで効果的な学習を可能とすること。

提案手法

• 各オブジェクトインスタンスに対して、フル解像度のマルチクラスセグメンテーションマスクと密な2次元-3次元対応点を出力する新しい検出ヘッドを提案する。
• 予測された密な対応点をPnPアルゴリズムとRANSACの入力として用い、正確な6次元オブジェクトポーズを計算する。
• 検出パラダイムに依存しないネットワークアーキテクチャを設計し、さまざまなバックボーンネットワークや推論パイプラインとの互換性を確保する。
• セグメンテーションと対応点の教師信号の組み合わせを用いて、合成レンダリングのみが利用可能な状況でもエンドツーエンドでモデルを学習する。
• 対応点の高密度性を活用することで、スパarsityキーポイント回帰に比べ、ポーズ推定のロバスト性と精度を向上させる。
• 複雑なリージョンプロポーザルネットワークを避けることで、密な予測ヘッドに依存する構成により、リアルタイム推論を達成する。

実験結果

リサーチクエスチョン

• RQ1 スパarsityキーポイントやバウンディングボックス回帰と比較して、密な2次元-3次元対応点の予測は6次元オブジェクトポーズ推定の精度を向上させ得るか？
• RQ2 学習に合成RGBレンダリングのみを用いても、最先端の6次元ポーズ推定性能を達成することは可能か？
• RQ3 R-CNN や YOLO などの特定の検出パラダイムに依存しない検出・ポーズフレームワークを設計することは可能か？
• RQ4 密な対応点の使用は、単一および複数オブジェクトの両状況において、ポーズ推定のロバスト性と精度をどのように向上させるか？

主な発見

• DPODは、単一および複数オブジェクトのベンチマークにおいて、かつての最先端手法を上回る優れた6次元ポーズ推定性能を達成した。
• 密な2次元-3次元対応点を活用することで、PnPとRANSACにより信頼性の高い豊富なデータが供給され、ポーズ精度が顕著に向上した。
• DPODはリアルタイム動作が可能であり、動的環境における実用的導入を可能にする。
• 合成RGBレンダリングのみで学習されたにもかかわらず、実世界データへの汎用性が高く、良好な一般化性能を示した。
• 特定のオブジェクト検出パラダイムに束縛されないため、モデル設計や統合における柔軟性を提供する。
• 性能向上は顕著であり、論文は「大きな差」を達成したと述べている。