[論文レビュー] A Unified Framework for Multi-View Multi-Class Object Pose Estimation

Chi Li, Jin Bai+1 more|arXiv (Cornell University)|Mar 21, 2018

Robotics and Sensor-Based Localization参考文献 35被引用数 12

ひとこと要約

本論文は、スケーラブルで、マルチクラス、マルチビューの6-DoFオブジェクトポーズ推定を実現する統合的ディープラーニングフレームワークを提案する。SE(3)ポーズ表現をビンアンドデルタ符号化により実現する単一出力の畳み込みニューラルネットワーク（CNN）、クラスPRIOR統合のためのタイル状クラスマップ、およびオブジェクトマスクによるディープスーパービジョンを導入し、YCB-Video、JHUScene-50、ObjectNet-3Dベンチマークで最先端の性能を達成するとともに、より高いロバストネスと一般化性能を実現した。

ABSTRACT

One core challenge in object pose estimation is to ensure accurate and robust performance for large numbers of diverse foreground objects amidst complex background clutter. In this work, we present a scalable framework for accurately inferring six Degree-of-Freedom (6-DoF) pose for a large number of object classes from single or multiple views. To learn discriminative pose features, we integrate three new capabilities into a deep Convolutional Neural Network (CNN): an inference scheme that combines both classification and pose regression based on a uniform tessellation of the Special Euclidean group in three dimensions (SE(3)), the fusion of class priors into the training process via a tiled class map, and an additional regularization using deep supervision with an object mask. Further, an efficient multi-view framework is formulated to address single-view ambiguity. We show that this framework consistently improves the performance of the single-view network. We evaluate our method on three large-scale benchmarks: YCB-Video, JHUScene-50 and ObjectNet-3D. Our approach achieves competitive or superior performance over the current state-of-the-art methods.

研究の動機と目的

• 複雑な背景下で多数の多様なオブジェクトクラスに対して、6-DoFオブジェクトポーズ推定のスケーラビリティとロバストネスの課題に対処すること。
• 複雑なシーンにおける対称性、隠蔽、外観の変動によって引き起こされる単一ビューのあいまいさを克服すること。
• 複数クラスにわたる高い精度を維持しながら、未学習のオブジェクトインスタンスに対しても一般化可能な統合的ディープラーニングアーキテクチャを構築すること。
• 対称性に配慮した投票手法を用いて信頼性の高いポーズ仮説を選択することで、単一ビューの精度に依存しない効率的なマルチビュー統合フレームワークを策定すること。
• オブジェクトマスクによるディープスーパービジョンとクラスに特化した特徴学習により、合成データから実世界データへの一般化を向上させること。

提案手法

• SE(3)における6-DoFポーズのビンアンドデルタ（BD）表現を導入し、群の均等なテッセレーションにより離散的で微分可能かつ識別的なポーズ回帰を可能にする。
• タイル状クラスマップを介してオブジェクトクラスラベルをネットワークに統合し、単一ブランチアーキテクチャ内でクラスに特化した特徴学習を可能にする。
• 中間層で真値のオブジェクトセグメンテーションマスクを用いたディープスーパービジョンを適用し、合成画像から実画像への特徴学習と一般化を向上させる。
• 複数のビューからのポーズ仮説を標準座標系にアライメントし、対称性に強い距離尺度を用いて一貫性が最も高いポーズを選択するマルチビュー統合フレームワークを採用する。
• 投票ベースの仮説選択メカニズムを用いて、特に対称的オブジェクトの単一ビューのあいまいさを解消し、最終的なポーズ精度を向上させる。
• RGBおよびRGB-D入力を用いてエンドツーエンドでモデルを学習し、各コンポonentの貢献を検証するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 単一のディープCNNアーキテクチャと統合的出力ストリームを備えたモデルは、数百のオブジェクトクラスにわたる大規模なスケーリングと一般化を維持しながら、最先端の性能を達成できるか？
• RQ2 タイル状クラスマップによるクラスPRIORの統合は、個別クラスまたは個別ブランチネットワークと比較して、ポーズ推定の精度と一般化性能をどのように向上させるか？
• RQ3 オブジェクトマスクによるディープスーパービジョンは、6-DoFポーズ推定において合成データから実世界データへの一般化をどの程度向上させるか？
• RQ4 マルチビュー統合フレームワークは、オブジェクトの対称性や部分的隠蔽によって引き起こされる単一ビューのあいまいさを効果的に解消できるか？
• RQ5 提案されたコンポーネント（ビンアンドデルタ表現、タイル状クラスマップ、マスクスーパービジョン）は、個別および統合的に大規模ベンチマークでの性能にどの程度寄与しているか？

主な発見

• 提案されたMCNフレームワークは、YCB-Videoで80.2%のmPCKを達成し、ベースライン（61.0%）および別ブランチベースライン（73.8%）を大きく上回り、優れた精度とスケーラビリティを示した。
• JHUScene-50では33.9%のmPCKを達成し、ベースライン（25.0%）より8.3%、別ブランチベースライン（29.3%）より5.2%向上し、ごみの多いシーンでも強力な性能を示した。
• ObjectNet-3Dでは90.8%のAOSおよび78.9%のAVPを達成し、バリデーションセットで最適化された大規模ベースライン[42]ですらこれを上回った。これは、未学習のインスタンスに対しても強い一般化性能を示している。
• アブレーションスタディの結果、ビンアンドデルタ、タイル状クラスマップ、マスクスーパービジョンの3つのコアコンポーネントのいずれかを除去すると一貫した性能低下が生じ、特にビンアンドデルタが最も重要であることが確認された。
• 共有特徴を用いた別ブランチベースラインでもMCNに劣り、大規模な設定では高い学習コスト（例：ObjectNet-3Dでは100GPU）のため、別ネットワークベースラインは現実的ではない。
• マルチビューフレームワークは、投票によるあいまいさ解消により単一ビュー性能を向上させ、すべてのベンチマークでMV5-MCNが単一ビューバージョンを上回る高い精度を達成した。