[論文レビュー] 6D Object Pose Estimation Based on 2D Bounding Box

Jin Liu, Sheng He|arXiv (Cornell University)|Jan 27, 2019

Image and Object Detection Techniques参考文献 26被引用数 4

ひとこと要約

本稿では、2次元オブジェクト検出バウンディングボックスを活用して3次元回転をユニットクォータニオン回帰ネットワーク（Q-Net）で予測し、3次元並進を新規のバウンディングボックス方程式を用いて推定する、新しい6次元オブジェクトポーズ推定手法を提案する。本手法は深度データや3次元点群を必要とせず、LineModデータセットにおいて最先端の性能を達成し、回転およびポーズ精度の両方の指標で先行研究を上回る。

ABSTRACT

In this paper, we present a simple but powerful method to tackle the problem of estimating the 6D pose of objects from a single RGB image. Our system trains a novel convolutional neural network to regress the unit quaternion, which represents the 3D rotation, from the partial image inside the bounding box returned by 2D detection systems. Then we propose an algorithm we call Bounding Box Equation to efficiently and accurately obtain the 3D translation, using 3D rotation and 2D bounding box. Considering that the quadratic sum of the quaternion's four elements equals to one, we add a normalization layer to keep the network's output on the unit sphere and put forward a special loss function for unit quaternion regression. We evaluate our method on the LineMod dataset and experiment shows that our approach outperforms base-line and some state of the art methods.

研究の動機と目的

• 単一のRGB画像から深度センサーや3次元監視を用いずに6次元オブジェクトポーズ推定の課題に取り組むこと。
• テクスチャあり・なしの両方のオブジェクトに対して、2次元検出出力のみを用いて高精度なポーズ推定を可能にすること。
• 既存の2次元オブジェクト検出器と互換性があり、リアルタイムデプロイメントに適した軽量で効率的なフレームワークの開発。
• 特別な正規化層とドット積損失関数を用いて、ユニットクォータニオン回帰の性能を向上させること。
• 2次元バウンディングボックスと3次元回転を用いて、正確な3次元並進推定を可能にする新規のバウンディングボックス方程式の導入。

提案手法

• 2次元バウンディングボックス内の切り出し画像から3次元回転を表すユニットクォータニオンを回帰する、新規のCNN（Q-Net）を訓練。
• 正規化層により、ネットワーク出力がユニット球面上に保たれ、クォータニオンの制約が維持される。
• ユニットベクトル回帰のためのカスタム損失関数（ドット積損失）を設計し、学習の安定性と精度を向上。
• バウンディングボックス方程式は、推定された3次元回転と2次元バウンディングボックス座標を用いて、3次元並進を計算する。3次元モデル幾何（例：点群または8頂点）を活用。
• エンドツーエンドで動作する：2次元検出 → 3次元回転予測 → 3次元並進推定 → 全6次元ポーズ。
• 本手法は、3次元点群を用いたLineModと、並進推定に8頂点のみを用いた日常的オブジェクトで評価。

実験結果

リサーチクエスチョン

• RQ1 2次元バウンディングボックスと深度データなしで、単一のRGB画像から6次元オブジェクトポーズを正確に推定できるか？
• RQ2 ディープラーニングフレームワークにおいて、3次元回転推定のためのユニットクォータニオン回帰をどのように改善できるか？
• RQ3 2次元バウンディングボックスと3次元回転から、閉形式の式を用いて3次元並進を効率的かつ正確に計算できるか？
• RQ4 本手法は、現実世界のテクスチャあり・なしの両方のオブジェクトに一般化可能か？
• RQ5 回転精度および全ポーズ精度の観点で、最先端の手法と比較してどのように性能を発揮するか？

主な発見

• LineModデータセットでは、平均オイラー角誤差が5.21°を達成し、先行研究[16]（11.48°）および[33]（14.53°）を上回った。
• LineModにおける5cm/5°のしきい値下での成功率は58.07%を記録し、[34]の40.60%を上回り、優れた一般化性能を示した。
• EggboxおよびGlueオブジェクトという困難なタスクでは、それぞれ60.0%および59.6%の成功率を達成し、[34]の57.1%および23.6%を上回った。
• GTX 1080 GPU上での全パイプライン実行時間は19ms（2次元検出16ms、回転2ms、並進1ms）であり、リアルタイム実行が可能であることを示した。
• 3次元モデルを必要とせず、カップ、ラジオ、本などの日常的オブジェクトに対しても一般化が良く、視覚的に正確なポーズ予測が得られた。
• アブレーションスタディにより、ドット積損失関数と正規化層がユニットクォータニオン回帰性能を顕著に向上させることを確認した。