[論文レビュー] PolarBEVDet: Exploring Polar Representation for Multi-View 3D Object Detection in Bird's-Eye-View

Zichen Yu, Quanli Liu+3 more|arXiv (Cornell University)|Aug 29, 2024

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

PolarBEVDet は、非一様な画像情報分布に適応し、視点対称性を保持するために、直交座標系のビューアー・エイド・ビュー（BEV）表現を極座標系のBEVに置き換える LSS に基づくマルチビュー 3D 動的物体検出フレームワークを提案する。極座標ビュー変換器、極座標時系列融合、極座標検出ヘッドに加え、2次元の補助的監視と空間的アテンションを導入することで、nuScenes で最先端の性能を達成し、NDS 52.7%、mAP 43.4% を達成した。

ABSTRACT

Recently, LSS-based multi-view 3D object detection provides an economical and deployment-friendly solution for autonomous driving. However, all the existing LSS-based methods transform multi-view image features into a Cartesian Bird's-Eye-View(BEV) representation, which does not take into account the non-uniform image information distribution and hardly exploits the view symmetry. In this paper, in order to adapt the image information distribution and preserve the view symmetry by regular convolution, we propose to employ the polar BEV representation to substitute the Cartesian BEV representation. To achieve this, we elaborately tailor three modules: a polar view transformer to generate the polar BEV representation, a polar temporal fusion module for fusing historical polar BEV features and a polar detection head to predict the polar-parameterized representation of the object. In addition, we design a 2D auxiliary detection head and a spatial attention enhancement module to improve the quality of feature extraction in perspective view and BEV, respectively. Finally, we integrate the above improvements into a novel multi-view 3D object detector, PolarBEVDet. Experiments on nuScenes show that PolarBEVDet achieves the superior performance. The code is available at https://github.com/Yzichen/PolarBEVDet.git.(This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible)

研究の動機と目的

• マルチビュー 3D 検出における均一な直交座標系 BEV グリッドと非均一な画像情報分布との不一致を解消すること。
• 直交座標系 BEV における並進不変性を有する畳み込みが破壊する周囲カメラ間の視点対称性を保持すること。
• 補助的監視とアテンションメカニズムを用いて、パースペクティブ空間および BEV 空間における特徴品質を向上させること。
• 異なる検出アーキテクチャにわたる極座標系 BEV 表現の汎用性と優位性を実証すること。

提案手法

• 複数のビュー画像特徴を極座標系 BEV 表現に変換するための極座標ビュー変換器を導入し、角度方向および半径方向のグリッドラスタライゼーションを実施する。
• 歴史的な極座標系 BEV 特徴を集約して時系列的一致性を向上させるための極座標時系列融合モジュールを設計する。
• 極座標パrameter化された表現を用いて 3D 動的物体を予測する極座標検出ヘッドを開発する。
• ボックス回帰、分類、センター回帰を含む 2次元の補助的検出ヘッドを統合し、画像空間における特徴品質を向上させる。
• 背景ノイズを抑制し、前方物体に注目を向けるために BEV 空間に空間的アテンション強化モジュールを適用する。
• すべてのモジュールを統合し、一貫性のある LSS ベースのフレームワーク、PolarBEVDet を構築し、エンドツーエンドのマルチビュー 3D 検出を実現する。

実験結果

リサーチクエスチョン

• RQ1 極座標系 BEV 表現は、マルチビュー 3D 検出における画像情報の自然な分布に適応して、より良い整合性を示すか？
• RQ2 極座標系 BEV は、周囲カメラ間の視点対称性を保持し、標準的な畳み込みによる表現の一貫性の欠如を軽減するか？
• RQ3 2次元の補助的監視は、画像空間および BEV 空間における特徴品質をどのように向上させるか？
• RQ4 ネットワークアーキテクチャにおいて、空間的アテンション強化モジュールを挿入する最適な位置はどこか？
• RQ5 極座標系 BEV 表現は、異なるバックボーンアーキテクチャおよび検出ヘッドにわたって汎用的か？

主な発見

• PolarBEVDet は、nuScenes ベンチマークで NDS 52.7%、mAP 43.4% を達成し、その直交座標系 BEV の対応する手法を上回った。
• ボックス回帰、分類、センター回帰のすべてのサブタスクを統合した場合、2次元の補助的監視により mAP が 0.4% 向上し、NDS が 0.2% 向上した。
• 空間的アテンション強化モジュール（SAE）を BEV エンコーダーの直前に挿入すると最良の性能が得られ、mAP が 0.5% 向上し、NDS が 0.4% 向上した（SAE を使用しない場合と比較）。
• 極座標系 BEV 表現は、並進誤差および方向誤差の両方を低減しており、局所化精度の向上を示している。
• 極座標系の BEVDet、BEVDet4D、BEVDepth は、すべて直交座標系の対応するバージョンに対して一貫した向上を示しており、極座標系 BEV のアプローチの普遍性を裏付けている。
• 定性的な結果では、小型物体（例：交通コーン、歩行者）の正確な検出が確認されたが、遠方の物体検出は依然として課題のままである。