[論文レビュー] FB-BEV: BEV Representation from Forward-Backward View Transformations

Zhiqi Li, Zhiding Yu+4 more|arXiv (Cornell University)|Aug 4, 2023

Advanced Vision and Imaging被引用数 6

ひとこと要約

本論文は、スパースで奥行きに敏感なBEV特徴の生成に前方投影を、スパース領域の最適化と誤検出の抑制に奥行きに敏感な後方投影を組み合わせた新規な前向き・後向き視点変換モジュールFB-BEVを提案する。本手法は奥行きの一貫性と前景に敏感な最適化を活用することで、nuScenesテストセットで62.4%のNDSという新たなSOTAを達成した。

ABSTRACT

View Transformation Module (VTM), where transformations happen between multi-view image features and Bird-Eye-View (BEV) representation, is a crucial step in camera-based BEV perception systems. Currently, the two most prominent VTM paradigms are forward projection and backward projection. Forward projection, represented by Lift-Splat-Shoot, leads to sparsely projected BEV features without post-processing. Backward projection, with BEVFormer being an example, tends to generate false-positive BEV features from incorrect projections due to the lack of utilization on depth. To address the above limitations, we propose a novel forward-backward view transformation module. Our approach compensates for the deficiencies in both existing methods, allowing them to enhance each other to obtain higher quality BEV representations mutually. We instantiate the proposed module with FB-BEV, which achieves a new state-of-the-art result of 62.4% NDS on the nuScenes test set. Code and models are available at https://github.com/NVlabs/FB-BEV.

研究の動機と目的

• 前方投影に基づくBEV表現におけるスパarsity問題に対処すること。これは、BEVグリッドの使用率が低く、長距離検出性能が劣る要因である。
• 奥行きの曖昧さや隠蔽による誤検出を抑えるために、後方投影における誤検出特徴を軽減するため、奥行きの一貫性を導入すること。
• 前方投影と後方投影の長所を統合した、単一で相乗効果を発揮する視点変換モジュールを構築すること。
• 前景領域に限定して最適化を実施することで、推論効率と検出精度を向上させること。
• 大規模なBEVグリッドにおいても継続的な性能向上を実現できる高解像度BEV認識を可能とすること。

提案手法

• 2段階の視点変換モジュールを提案：最初に、奥行きに敏感なピクセルから3次元へのマッピングを用いてスパースなBEV特徴を生成する前方投影を実施する。
• 3次元ポイントとその2次元画像投影の間の奥行きの一貫性を測定することで、スパースなBEVグリッドを奥行きに敏感な後方投影で最適化する。
• 3次元ポイントの奥行き分布と対応する2次元投影の奥行き分布との距離に基づく奥行き一貫性指標を導入し、投影に可変重みを割り当てる。
• 前景領域提案ネットワーク（FRPN）を採用し、背景の干渉を低減するとともに効率を向上させるために、前景BEVグリッドにのみ最適化を限定する。
• 離散的な奥行き値を用いた学習可能な投影行列を採用することで、計算効率を維持しつつも、特徴の高密度な埋め込みを可能にする。
• 最適化されたBEV特徴を検出ヘッドに統合し、3次元オブジェクト検出を実行する。エンドツーエンドの学習が可能である。

(a)

実験結果

リサーチクエスチョン

• RQ1 前方投影と後方投影を組み合わせることで、単独で用いる場合よりもBEV表現の質を向上させることができるか？
• RQ2 後方投影における奥行きの一貫性は、隠蔽や奥行きの曖昧さによって引き起こされる誤検出特徴をどの程度低減するか？
• RQ3 FRPNによる前景に敏感な最適化は、検出精度と推論効率をどの程度向上させるか？
• RQ4 前方投影がスパース性の増大に苦しむ大規模なBEVグリッドにおいて、本手法は性能を維持または向上させられるか？
• RQ5 追加の奥行き教師信号を必要とせず、標準ベンチマーク（例：nuScenes）でSOTA性能を達成できるか？

主な発見

• FB-BEVは、nuScenesテストセットで62.4%のNDSという新たなSOTAを達成し、先行手法を上回った。
• 奥行きに敏感な後方投影の導入により、奥行きの曖昧さに起因する縦方向の検出誤差が低減された。黄色のボックスで囲まれた誤検出例の可視化から明らかである。
• FRPNは検出精度と推論速度の両方を向上させ、VTMのレイテンシを3.4msから2.6msに短縮した。これは、前景グリッドにのみ注力しているためである。
• 奥行き一貫性マップでは、前景領域で高い値を示し、高さに応じて変化する。これは、モデルが奥行きの信頼性に基づいて特徴を効果的に集約していることを確認している。
• 大規模なBEVスケールでも性能向上が持続する：400×400のBEVグリッドを用いたFB-BEVは0.406のNDSを達成し、同じスケールでBEVDetを0.038 NDS上回った。
• 本手法は高い効率性を維持しており、VTMレイテンシは400×400で6.6msにしか増加していない。これはリアルタイム推論においてボトルネックとはならないことを示している。

(b)