[論文レビュー] Center3D: Center-based Monocular 3D Object Detection with Joint Depth Understanding

Yunlei Tang, Sebastian Dörn+1 more|arXiv (Cornell University)|May 27, 2020

Advanced Neural Network Applications参考文献 32被引用数 13

ひとこと要約

Center3Dは、2次元中心点から3次元中心点を直接回帰する1段階型でアンカーフリーな単眼3次元オブジェクト検出フレームワークを提案する。分類と回帰を統合して深さ推定を強化することで、精度を向上させる。KITTIのモダンセットで42.8%のBEV APおよび39.1%の3D APを達成し、リアルタイム推論における速度-精度トレードオフにおいて新たなSOTAを樹立した。

ABSTRACT

Localizing objects in 3D space and understanding their associated 3D properties is challenging given only monocular RGB images. The situation is compounded by the loss of depth information during perspective projection. We present Center3D, a one-stage anchor-free approach, to efficiently estimate 3D location and depth using only monocular RGB images. By exploiting the difference between 2D and 3D centers, we are able to estimate depth consistently. Center3D uses a combination of classification and regression to understand the hidden depth information more robustly than each method alone. Our method employs two joint approaches: (1) LID: a classification-dominated approach with sequential Linear Increasing Discretization. (2) DepJoint: a regression-dominated approach with multiple Eigen's transformations for depth estimation. Evaluating on KITTI dataset for moderate objects, Center3D improved the AP in BEV from $29.7\%$ to $42.8\%$, and the AP in 3D from $18.6\%$ to $39.1\%$. Compared with state-of-the-art detectors, Center3D has achieved the best speed-accuracy trade-off in realtime monocular object detection.

研究の動機と目的

• 透視投影によって生じる深さ情報の曖昧さのため、単眼RGB画像からの3次元オブジェクト検出の課題に対処すること。
• 既存のアンカーベースまたは2段階型検出器の制限を克服し、推論速度と効率性を向上させる1段階型でアンカーフリーなアプローチを提案すること。
• 分類と回帰を統合することで、単一手法に比べて視覚的ヒントをより効果的に活用し、深さ推定の精度を向上させること。
• アンカーフリー検出における特徴マップのスパarsityを軽減するためのリファレンスエリア（RA）機構を導入し、局所化精度を向上させること。
• KITTIベンチマークにおいて、特にリアルタイム応用を想定した状況で、3次元検出精度と推論速度の両面でSOTAを達成すること。

提案手法

• 2次元中心点予測から3次元オブジェクト中心点を直接回帰する3次元オフセットヘッドを用い、2次元中心点と3次元中心点の空間的差を明示的にモデル化する。
• 2つの深さ推定ヘッドを採用：LID（分類主導）は段階的線形増加離散化を用い、DepJoint（回帰主導）はEigenの変換を用いたビンベースの深さ回帰を実装する。
• リファレンスエリア（RA）機構を導入し、事前に定義された空間領域内で深さとオフセットを回帰することで、特徴マップのスパarsityを低減し、局所化精度を向上させる。
• DLA-34バックボーンを用いてマルチスケール特徴を抽出し、2次元Heatmap、2次元オフセット、3次元オフセット、深さ予測のためのヘッドを配置する。
• 重み付き損失を用いたマルチタスク学習を適用し、2次元Heatmap、オフセット、深さの最適化を実施。予測された3次元中心点、寸法、姿勢、深さを用いて3次元バウンディングボックス回帰を最適化する。
• 分類（LID）と回帰（DepJoint）を統合した共同最適化戦略を採用し、深さ推定における視覚的ヒントをより効果的に活用する。

実験結果

リサーチクエスチョン

• RQ1 1段階型でアンカーフリーな検出器は、精度と推論速度の両面で、既存の2段階型またはアンカーベースの単眼3次元検出器を上回ることができるか？
• RQ2 2次元中心点と3次元中心点を同一と仮定するのではなく、2次元から3次元への中心点オフセットを明示的にモデル化することで、3次元局所化精度がどのように向上するか？
• RQ3 分類と回帰を統合した深さ推定は、単独で使用する場合に比べ、より頑健な深さ予測を実現できるか？
• RQ4 リファレンスエリア（RA）機構は、アンカーフリー3次元検出における特徴のスパarsityをどの程度軽減し、検出性能を向上させるか？
• RQ5 ビンベースの分類と回帰を統合した共同深さ推定は、KITTIのような単眼3次元検出ベンチマークでSOTAの性能を達成できるか？

主な発見

• Center3DはKITTIのモダンセットで42.8%のBEV APおよび39.1%の3D APを達成し、ベースラインの29.7%からBEV APが著しく向上した。
• DepJointとRAを組み合わせたモデル（Center3D(+dj+ra)）は、エイジューオブジェクトでBEV APが55.8%、モダンオブジェクトで42.8%を達成し、単眼3次元検出において新たなSOTAを樹立した。
• RA機構により、モダンオブジェクトのBEV APが4.9%（35.3%から40.2%）向上し、ハードオブジェクトでも1.0%（33.0%から34.0%）向上した。これは、スパースな特徴領域における有効性を示している。
• Center3DはM3D-RPNよりも約3倍速い推論速度を達成しながら、同等の3次元検出性能を維持した。これにより、リアルタイム単眼検出における最良の速度-精度トレードオフを確立した。
• DepJointアプローチは、重み付け損失の感度に対して標準的なEigenの変換よりも頑健であり、特に重複するか関連する深さビンを使用する場合に顕著であった。
• LIDアプローチは、KITTIデータセットにおけるオブジェクト深さの統計的分布を活用し、段階的線形離散化を採用することで、分類ベースの深さ回帰の精度が向上した。