[論文レビュー] PolarFormer: Multi-camera 3D Object Detection with Polar Transformer

Yanqin Jiang, Li Zhang+5 more|arXiv (Cornell University)|Jun 30, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

PolarFormerは、エゴカーのウェッジ型視覚的視点と整合性のとれた極座標系を活用することで、マルチカメラ3Dオブジェクト検出のための新しいTransformerベースのアーキテクチャを提案する。不規則な極座標グリッドを処理するためのクロスアテンションデコーダと、オブジェクトのスケール変動に対処するためのマルチスケール表現戦略を採用することで、後処理を施さずにnuScenesでSOTA性能を達成し、キャリブレーションベースラインよりmAPで1.1%、NDSで0.2%の向上を達成した。

ABSTRACT

3D object detection in autonomous driving aims to reason "what" and "where" the objects of interest present in a 3D world. Following the conventional wisdom of previous 2D object detection, existing methods often adopt the canonical Cartesian coordinate system with perpendicular axis. However, we conjugate that this does not fit the nature of the ego car's perspective, as each onboard camera perceives the world in shape of wedge intrinsic to the imaging geometry with radical (non-perpendicular) axis. Hence, in this paper we advocate the exploitation of the Polar coordinate system and propose a new Polar Transformer (PolarFormer) for more accurate 3D object detection in the bird's-eye-view (BEV) taking as input only multi-camera 2D images. Specifically, we design a cross attention based Polar detection head without restriction to the shape of input structure to deal with irregular Polar grids. For tackling the unconstrained object scale variations along Polar's distance dimension, we further introduce a multi-scalePolar representation learning strategy. As a result, our model can make best use of the Polar representation rasterized via attending to the corresponding image observation in a sequence-to-sequence fashion subject to the geometric constraints. Thorough experiments on the nuScenes dataset demonstrate that our PolarFormer outperforms significantly state-of-the-art 3D object detection alternatives.

研究の動機と目的

• 標準的なデカルト座標とマルチカメラエゴビークルビューの自然なウェッジ型視点との間の不整合を是正すること。
• ビューアー・エイド・ビュー（BEV）表現における極座標系の幾何的性質を活用して、3Dオブジェクト検出の精度を向上させること。
• 極座標グリッド構造の不規則さと、径方向に沿った制約のないオブジェクトスケール変動に起因する課題に対処すること。
• 入力グリッドの形状に依存しない、マルチカメラ画像からの幾何的制約を尊重するクエリベースの検出ヘッドを設計すること。
• 深度監督なし、複雑な後処理を伴わないカメラオンリーデータにおける3D検出性能を、キャリブレーションベースラインを上回ることを実証すること。

提案手法

• モデルは、規則的なグリッド構造に制限されないクロスアテンションベースのデコーダヘッドを採用しており、マルチカメラ画像から得られる不規則な極座標グリッドの効果的処理を可能としている。
• 極座標系の径方向（距離）次元におけるオブジェクトスケール変動に対処するため、マルチスケール極BEV表現学習戦略を導入している。
• 極表現は、幾何的制約のもとで対応する画像観測に注目する、シーケンス・ツー・シーケンスのクロスアテンション機構を介して、画像特徴からラスタライズされる。
• 空間的構造を保持するために、3Dレイの位置に基づいて学習または生成された位置埋め込みが用いられている。
• マルチレベルの特徴を特徴ピラミッドネットワーク（FPN）から統合するため、クロスプレーンエンコーダを採用しており、マルチスケール特徴学習を可能としている。
• アブレーションスタディにより、極座標系とマルチスケール設計の両方が必要であることが検証されており、特にスケール変動の処理において顕著な効果を示している。

実験結果

リサーチクエスチョン

• RQ1 マルチカメラ環境において、従来のデカルト座標系と比較して、極座標系を用いることで3Dオブジェクト検出性能が向上するか？
• RQ2 正規のグリッド仮定を必要としないクロスアテンションデコーダは、不規則な極グリッド構造を効果的に処理できるか？
• RQ3 極BEV空間におけるマルチスケール表現学習は、さまざまな距離に位置する異なるサイズのオブジェクトに対して、検出性能にどのように影響を与えるか？
• RQ4 デカルトBEV表現と比較して、極座標系は近接領域と遠方領域における情報損失をどの程度軽減するか？
• RQ5 後処理（例：サークルNMS）を伴わない統一された極空間での検出ヘッドは、最適化されたデカルトベースラインを上回る性能を発揮できるか？

主な発見

• PolarFormerは、nuScenesのバリデーションセットで0.389 mAPおよび0.456 NDSを達成し、強力なデカルトベースラインであるCenterpointをmAPで1.1%、NDSで0.2%上回った。
• 後処理なしでもCenterpointを上回っており、極表現が特徴学習およびデコードの両面で有効であることを示している。
• 極表現は近接領域（赤）における情報損失を低減し、遠方領域（緑）の不要なアップサンプリングを回避する。これに対して、デカルトBEVは空間分布を歪める。
• マルチスケール極BEV設計は、特にスケール変動の処理において顕著な性能向上をもたらすが、同じ戦略はデカルト空間ではほとんど利益をもたらさない。
• アブレーションでは、特徴表現と予測の両方で極座標系を用いることで、特徴には極座標系を、予測にはデカルト座標系を用いる場合よりも優れた性能が得られることを示している。
• 最適な極BEV解像度は、256のアリューディナルビンと64の径方向ビンであると判明し、空間解像度と計算コストのバランスが取れている。