[論文レビュー] Real-Time Seamless Single Shot 6D Object Pose Prediction

Bugra Tekin, Sudipta N. Sinha+1 more|arXiv (Cornell University)|Nov 24, 2017

Advanced Neural Network Applications参考文献 31被引用数 15

ひとこと要約

本稿では、2次元画像上の3次元オブジェクトのボクセル頂点の投影を直接予測することで、後処理を必要とせずPnPを用いて高精度なポーズ推定を実現する、リアルタイムで1ショットの深層畳み込みニューラルネットワーク（CNN）を提案する。この手法は、Titan X（Pascal）GPU上で50–94 fpsを達成し、詳細な3次元モデルや精緻化ステップを必要とせず、先行するCNNベースの手法を速度および精度の面で上回る。

ABSTRACT

We propose a single-shot approach for simultaneously detecting an object in an RGB image and predicting its 6D pose without requiring multiple stages or having to examine multiple hypotheses. Unlike a recently proposed single-shot technique for this task (Kehl et al., ICCV'17) that only predicts an approximate 6D pose that must then be refined, ours is accurate enough not to require additional post-processing. As a result, it is much faster - 50 fps on a Titan X (Pascal) GPU - and more suitable for real-time processing. The key component of our method is a new CNN architecture inspired by the YOLO network design that directly predicts the 2D image locations of the projected vertices of the object's 3D bounding box. The object's 6D pose is then estimated using a PnP algorithm. For single object and multiple object pose estimation on the LINEMOD and OCCLUSION datasets, our approach substantially outperforms other recent CNN-based approaches when they are all used without post-processing. During post-processing, a pose refinement step can be used to boost the accuracy of the existing methods, but at 10 fps or less, they are much slower than our method.

研究の動機と目的

• モバイルおよびウェアラブルデバイスにおけるRGB画像のみを用いたリアルタイム6次元オブジェクトポーズ推定のニーズに対応すること。
• テクスチャが乏しいまたは低解像度のオブジェクトに対してキーポoinトベース手法の限界を克服すること。
• CNNベースの6次元ポーズ推定におけるマルチステージパイプラインや後処理による精緻化の必要性を排除すること。
• オブジェクト数の増加に伴い実行時間の線形的増加を示さない、スケーラブルでリアルタイムな性能を複数オブジェクト検出に実現すること。
• 詳細でテクスチャのある3次元オブジェクトモデルへの依存度を減らし、トレーニングに3次元ボクシングボックスのみを用いること。

提案手法

• YOLOにインspiredされた1ショットCNNアーキテクチャを提案し、3次元オブジェクトのボクシングボックス頂点の2次元画像座標を回帰する。
• 3次元ボクシングボックスのアノテーションのみを用いて、エンドツーエンドでオブジェクト検出と6次元ポーズ予測を同時に学習する。
• 予測された3次元ボックスのコーナーの2次元投影から、効率的なPnPアルゴリズムを用いて6次元ポーズを計算する。
• トレーニング中にランダムな入力解像度を用いたマルチスケールトレーニングを実施し、可変解像度の推論を可能にする。
• 他のシーケンスからのオブジェクトクロップを用いてトレーニングデータを拡張し、特にオクルージョン下でも一般化性能を向上させる。
• 高精度な内在的性能を確保することで、ポーズ精緻化ステップを回避し、詳細なテクスチャのある3次元モデルの必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 1ショットCNNが十分に高い精度で6次元オブジェクトポーズを予測できるかどうか、後処理による精緻化の必要性を排除できるか。
• RQ2 標準ベンチマークにおいて、マルチステージまたは精緻化ベースの手法と比較して、本手法の速度および精度はどの程度か。
• RQ3 オブジェクト数の増加に伴い、本手法はどの程度スケーラブルか、実行時間の著しい増加は見られるか。
• RQ4 詳細な3次元モデルに依存せずに、テクスチャが乏しいまたはオクルージョンされたオブジェクトに対しても本手法はどのように対処できるか。
• RQ5 リアルタイムデプロイにおいて、入力解像度、精度、推論速度のトレードオフはどの程度か。

主な発見

• LineModデータセットにおいて、688×688の入力解像度で43 fpsの速度を達成し、2次元投影誤差に基づくポーズ推定精度が90.65%に達した。
• 544×544解像度では、Titan X（Pascal）GPU上で50 fpsの推論速度を達成し、90.37%の精度を示した。
• オクルージョンデータセットではmAPが0.48を達成し、[8]、[11]、[2]などの先行手法を後処理なしで上回った。
• 複数オブジェクト検出時においても実行時間がほぼ一定に保たれ、SSD-6Dがオブジェクト数に比例して実行時間が増加するのとは対照的に、スケーリングにおいて顕著に高速であった。
• 416×416解像度では94 fpsで動作し、高解像度と比較して精度がわずか1%低下にとどまり、効率と精度のトレードオフが優れていることが示された。
• ポーズ精緻化や詳細なテクスチャのある3次元モデルを必要とせず、3次元ボクシングボックスのみをトレーニングに用いることで、LineModにおける最先端の精度を達成した。