[論文レビュー] BB8: A Scalable, Accurate, Robust to Partial Occlusion Method for Predicting the 3D Poses of Challenging Objects without Using Depth

Mahdi Rad, Vincent Lepetit|arXiv (Cornell University)|Mar 31, 2017

Advanced Neural Network Applications参考文献 15被引用数 71

ひとこと要約

本稿では、色画像のみを用いてスケーラブルで頑健な3次元オブジェクトポーズ推定を実現するBB8を提案する。ホリスティックなCNNを用いた3次元バウンディングボックスコーナーの2次元投影を予測することで、深度情報なしでLINEMOD（89.3％の精度）で最先端性能を達成し、T-LESSデータセットでもポーズ6D基準で54％の新記録を樹立した。対称的オブジェクトの取り扱いには、ポーズ範囲分類とトレーニングデータの制限を用いることで、部分的オクルージョンに強く対応した。

ABSTRACT

We introduce a novel method for 3D object detection and pose estimation from color images only. We first use segmentation to detect the objects of interest in 2D even in presence of partial occlusions and cluttered background. By contrast with recent patch-based methods, we rely on a holistic approach: We apply to the detected objects a Convolutional Neural Network (CNN) trained to predict their 3D poses in the form of 2D projections of the corners of their 3D bounding boxes. This, however, is not sufficient for handling objects from the recent T-LESS dataset: These objects exhibit an axis of rotational symmetry, and the similarity of two images of such an object under two different poses makes training the CNN challenging. We solve this problem by restricting the range of poses used for training, and by introducing a classifier to identify the range of a pose at run-time before estimating it. We also use an optional additional step that refines the predicted poses. We improve the state-of-the-art on the LINEMOD dataset from 73.7% to 89.3% of correctly registered RGB frames. We are also the first to report results on the Occlusion dataset using color images only. We obtain 54% of frames passing the Pose 6D criterion on average on several sequences of the T-LESS dataset, compared to the 67% of the state-of-the-art on the same sequences which uses both color and depth. The full approach is also scalable, as a single network can be trained for multiple objects simultaneously.

研究の動機と目的

• RGB画像のみを用いて、部分的オクルージョン下でも、対称的で難しいオブジェクトに対して信頼性の高い3次元オブジェクトポーズ推定を実現すること。
• ポーズの曖昧さと画像の類似性により、対称的オブジェクトの学習が困難になる問題を克服すること。
• 深度センサに依存せず、ごみが多いシーンやオクルージョン状態でも、より頑健で正確な推定を実現すること。
• 複数のオブジェクトを同時に推定可能な1つのネットワークをスケーラブルにトレーニングできること。

提案手法

• 部分的オクルージョンやごみが多い状況下でも、オブジェクトを2次元で検出できるインスタンスセグメンテーションを用いる。
• セグメンテーションされたオブジェクト領域から、ホリスティックなCNNが3次元バウンディングボックスコーナーの2次元投影を予測する。
• 回転対称性に対処するため、トレーニングデータを限定されたポーズ範囲に制限することで曖昧さを低減する。
• 推論時にポーズ範囲分類器を導入し、回帰の前に正しいポーズ範囲を特定する。
• 反復最適化を用いるオプションのリファインメントステップにより、さらにポーズ精度を向上させる。
• システム全体をエンドツーエンドでトレーニングでき、1つのネットワークで複数オブジェクトの推論を同時に行える。

実験結果

リサーチクエスチョン

• RQ1 CNNベースの手法が、RGB画像のみで、対称的でオクルージョンが深刻なオブジェクトに対し、高い精度の3次元ポーズ推定を達成できるか？
• RQ2 トレーニングおよび推論段階で、回転対称性が原因のポーズの曖昧さをどのように軽減できるか？
• RQ3 深度データを使用しない場合、T-LESS や LINEMOD のようなベンチマークデータセットでどの程度の性能向上が達成できるか？
• RQ4 複数のオブジェクトを同時に推定可能な1つのネットワークを、高い精度と頑健性を維持したまま効果的にトレーニングできるか？

主な発見

• LINEMODデータセットでは89.3％の精度を達成し、以前の最先端手法（73.7％）を上回った。
• T-LESSデータセットのオクルージョンサブセットに対して、色画像のみを用いた初の結果を報告した。
• T-LESSデータセットでは、6Dポーズ基準を満たすフレームが54％に達し、色と深度の両方を使用した以前の最先端手法を上回った。
• 1つのネットワークを用いて複数のオブジェクトのポーズを同時に推定できるスケーラビリティを有している。
• ポーズ範囲分類と制限されたトレーニングポーズ範囲の使用により、対称的オブジェクトにおける一般化性能が顕著に向上した。
• オプションのリファインメントステップにより、さらにポーズ精度が向上し、本手法の適応性と頑健性の高さが示された。