[論文レビュー] BEVFormer v2: Adapting Modern Image Backbones to Bird's-Eye-View Recognition via Perspective Supervision

Chenyu Yang, Yuntao Chen+10 more|arXiv (Cornell University)|Nov 18, 2022

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

BEVFormer v2 は、2つのヘッドを持つ検出フレームワークを用いて視点監督を導入し、現代の2次元画像バックボーンが鳥瞰図（BEV）3次元物体検出で最先端の性能を達成できるようにした。BEVヘッドに加えて視点3次元検出ヘッドを訓練し、補助損失を用いることで、特徴の学習が向上し、収束が早まり、一般化性能が向上した。大規模な事前学習済みバックボーン（例：ConvNeXt-XL）を用いた場合、nuScenesで63.4% NDSを達成した。

ABSTRACT

We present a novel bird's-eye-view (BEV) detector with perspective supervision, which converges faster and better suits modern image backbones. Existing state-of-the-art BEV detectors are often tied to certain depth pre-trained backbones like VoVNet, hindering the synergy between booming image backbones and BEV detectors. To address this limitation, we prioritize easing the optimization of BEV detectors by introducing perspective space supervision. To this end, we propose a two-stage BEV detector, where proposals from the perspective head are fed into the bird's-eye-view head for final predictions. To evaluate the effectiveness of our model, we conduct extensive ablation studies focusing on the form of supervision and the generality of the proposed detector. The proposed method is verified with a wide spectrum of traditional and modern image backbones and achieves new SoTA results on the large-scale nuScenes dataset. The code shall be released soon.

研究の動機と目的

• ドメインギャップと複雑なモデルアーキテクチャのため、現代の2次元画像バックボーンが BEV 検出にうまく適応できない問題に対処すること。
• 一般画像バックボーンの有効な微調整を妨げる BEV ディテクタの最適化課題を克服すること。
• 大規模事前学習済み画像バックボーン（例：ConvNeXt や Swin Transformer）を BEV 検出フレームワークに統合できるようにすること。
• 高品質な視点ビューの提案を活用する2段階の BEV ディテクタを開発し、BEV 検出性能を向上させること。

提案手法

• 画像バックボーンに補助的検出損失を直接与えることで、視点3次元検出ヘッドを導入し、3次元認識のための特徴学習を向上させる。
• 視点ヘッドの物体提案を BEV ヘッドの入力とし、学習可能クエリとともにハイブリッドオブジェクトクエリにエンコードする。
• BEV損失と視点損失を組み合わせたマルチタスク損失を用いて、視点ヘッドと BEV ヘッドを同時に訓練し、最適化を安定化させる。
• 2段階の検出パイプラインを採用：最初の段階で視点ヘッドから得た提案を、2番目の段階の BEV ヘッドで最終予測のために精錬する。
• 運動と方向推定を向上させるために、より長い時間間隔（2秒）を用いた双方向時系列符号化を適用する。
• 画像特徴に対する強い直接的監督を確保するため、視点ヘッドに密でアンカーレスな予測ヘッド（例：DD3D）を用いる。

実験結果

リサーチクエスチョン

• RQ1 視点監督は、BEV 検出における現代の2次元画像バックボーンの最適化と適応に顕著な改善をもたらすか？
• RQ2 視点提案を統合した2段階検出パイプラインの統合は、BEV 検出性能にどのように影響するか？
• RQ3 補助的視点損失は、BEV 僅かな監督と比較して、収束を速くし、一般化性能を向上させるか？
• RQ4 大規模事前学習済み画像バックボーン（例：ConvNeXt-XL）は、伝統的な深さ事前学習済みバックボーン（例：VoVNet）よりも、BEV 検出でどれほど優れているか？
• RQ5 時系列符号化やデータ拡張などのアーキテクチャ的選択は、最終的な検出性能にどのように影響するか？

主な発見

• 視点監督により、大規模な ImageNet 事前学習済みバックボーンである ConvNeXt-XL が、より小さい DDAD-15M 事前学習済みの VoVNet-99 よりも優れた性能を発揮し、nuScenes で 63.4% NDS を達成した。
• 視点監督を施したモデルは、BEV 僅かな学習よりも収束が早く、長時間の学習スケジュールでさえもより高い性能に到達した。
• ハイブリッドオブジェクトクエリを用いた2段階の BEVFormer v2 フレームワークは、特に方向推定と小物検出において精度を向上させた。
• 2秒間隔の双方向時系列符号化により、mAOE が低下し、運動と方向推定が向上した。
• 視点監督は NDS に 2.2%、mAP に 2.6% の寄与を示し、性能向上の主因であることが明らかになった。
• 本手法は、伝統的および現代的なアーキテクチャを含む多様なバックボーンに一般化可能であり、広範な適用可能性が確認された。