[論文レビュー] Object-Aware Centroid Voting for Monocular 3D Object Detection

Wentao Bao, Qi Yu+1 more|arXiv (Cornell University)|Jul 20, 2020

Advanced Neural Network Applications参考文献 1被引用数 5

ひとこと要約

本論文は、ピンホールモデルとクラス固有の高さ事前分布を用いて2次元領域提案を3次元空間に投影することで、密度的な深度推定を回避するエンドツーエンドの単眼3次元物体検出手法を提案する。物体に特化した投票メカニズムを導入し、外観アテンションと幾何的投影分布を統合して3次元重心予測を精緻化し、KITTIベンチマークで最先端の性能を達成し、従来の単眼手法と比較して3%以上の向上を実現した。

ABSTRACT

Monocular 3D object detection aims to detect objects in a 3D physical world from a single camera. However, recent approaches either rely on expensive LiDAR devices, or resort to dense pixel-wise depth estimation that causes prohibitive computational cost. In this paper, we propose an end-to-end trainable monocular 3D object detector without learning the dense depth. Specifically, the grid coordinates of a 2D box are first projected back to 3D space with the pinhole model as 3D centroids proposals. Then, a novel object-aware voting approach is introduced, which considers both the region-wise appearance attention and the geometric projection distribution, to vote the 3D centroid proposals for 3D object localization. With the late fusion and the predicted 3D orientation and dimension, the 3D bounding boxes of objects can be detected from a single RGB image. The method is straightforward yet significantly superior to other monocular-based methods. Extensive experimental results on the challenging KITTI benchmark validate the effectiveness of the proposed method.

研究の動機と目的

• LiDARや計算コストの高い密度的深度推定を避ける単眼3次元物体検出フレームワークの開発を目的とする。
• 明示的な深度教師信号を用いずに、幾何的制約と外観の手がかりを活用して3次元位置推定の精度を向上させることを目的とする。
• RGB画像と2次元領域提案のみを用いてエンドツーエンドの学習が可能な単眼3次元検出のための訓練フレームワークを実現することを目的とする。
• 自動運転のシナリオにおいて、小さな3次元物体を高い精度で検出する課題に対処することを目的とする。

提案手法

• ピンホールカメラモデルとクラス固有の3次元高さ事前分布を用いて、2次元領域の注目（RoI）グリッド座標を3次元空間に投影し、初期の3次元重心候補を生成する。
• 外観アテンションマップ（AAM）と幾何的投影分布（GPD）を同時に学習する物体に特化した投票メカニズムを導入し、3次元重心予測を精緻化する。
• 画像特徴と幾何的ヒントを後段融合することで、残差3次元位置オフセットを予測し、残差学習による位置推定精度の向上を図る。
• 投票された重心候補から最終的な3次元バウンディングボックス座標を回帰するため、小さな全結合層を3次元位置推定ヘッドとして採用する。
• RoIプーリングから得られる領域ごとの特徴を活用して3次元位置推定を監督することで、一般化性能とロバスト性を向上させる。
• 3次元中心推論と投票モジュールを2段階検出器に統合した微分可能でエンドツーエンドで訓練可能なパイプラインを設計する。

実験結果

リサーチクエスチョン

• RQ1 密度的なピxls単位の深度推定を学習せずに、1枚のRGB画像から3次元物体検出を効果的に行うことは可能か？
• RQ2 幾何的投影分布と外観の手がかりをどのように統合することで、3次元重心位置推定を向上させられるか？
• RQ3 外観と幾何的事前分布を組み合わせた物体に特化した投票は、擬似LiDARや深度推定に依存する手法を上回る性能を発揮するか？
• RQ4 画像特徴と幾何的特徴の後段融合は、3次元位置推定精度をどの程度向上させるか？
• RQ5 提案手法は、既存の単眼検出器と比較して、小さな物体や遠方の3次元物体において優れた性能を発揮するか？

主な発見

• 提案手法はKITTIベンチマークでBEV APが51.23%（IoU=0.5）および20.65%（IoU=0.7）を達成し、A3DODWTDAを3%以上上回った。
• 外観アテンションマップ（AAM）投票モジュールを除去すると顕著な性能低下が生じ、その重要性が確認された。
• 幾何的投影分布（GPD）投票は一貫して寄与し、全IoU閾値および難易度レベルで3次元APを3%以上向上させた。
• 画像特徴と幾何的特徴の後段融合により、性能が1.5–2%向上し、残差3次元位置オフセットを学習する有効性が示された。
• 3次元位置推定ヘッドを単純な重心候補の平均値に置き換えると性能が低下し、学習されたFC層がより効果的であることが示された。
• 遠方の物体（40メートルを超える）に対しても正確な位置推定が可能であるが、方向推定は依然として精度が低い傾向にある。