[論文レビュー] Delving into the Devils of Bird's-eye-view Perception: A Review, Evaluation and Recipe

Hongyang Li, Chonghao Sima+20 more|arXiv (Cornell University)|Sep 12, 2022

Robotics and Sensor-Based Localization被引用数 10

ひとこと要約

本論文は、自動運転におけるビューアー・エイド（BEV）認識について、カメラのみ、LiDAR、マルチセンサーフュージョンのアプローチを網羅的にレビュー・評価し、実用的なレシピを提示する。システム的な設計原則、損失関数、および実証済みの「テクニックのバッグ」を含むツールボックスを導入し、nuScenes や Waymo などのベンチマークで 3D 検出およびセグメンテーション性能を向上させる。LiDAR セグメンテーションでは最大 1.1 mIoU の向上を達成し、カメラのみの設定でも LiDARD に匹敵する性能に近づける。

ABSTRACT

Learning powerful representations in bird's-eye-view (BEV) for perception tasks is trending and drawing extensive attention both from industry and academia. Conventional approaches for most autonomous driving algorithms perform detection, segmentation, tracking, etc., in a front or perspective view. As sensor configurations get more complex, integrating multi-source information from different sensors and representing features in a unified view come of vital importance. BEV perception inherits several advantages, as representing surrounding scenes in BEV is intuitive and fusion-friendly; and representing objects in BEV is most desirable for subsequent modules as in planning and/or control. The core problems for BEV perception lie in (a) how to reconstruct the lost 3D information via view transformation from perspective view to BEV; (b) how to acquire ground truth annotations in BEV grid; (c) how to formulate the pipeline to incorporate features from different sources and views; and (d) how to adapt and generalize algorithms as sensor configurations vary across different scenarios. In this survey, we review the most recent works on BEV perception and provide an in-depth analysis of different solutions. Moreover, several systematic designs of BEV approach from the industry are depicted as well. Furthermore, we introduce a full suite of practical guidebook to improve the performance of BEV perception tasks, including camera, LiDAR and fusion inputs. At last, we point out the future research directions in this area. We hope this report will shed some light on the community and encourage more research effort on BEV perception. We keep an active repository to collect the most recent work and provide a toolbox for bag of tricks at https://github.com/OpenDriveLab/Birds-eye-view-Perception

研究の動機と目的

• 自動運転におけるビューアー・エイド（BEV）認識分野における最近の進展を体系的にレビューすること。特にマルチセンサーフュージョン、カメラのみ、LiDAR に基づくアプローチに焦点を当てる。
• BEV 認識における主な課題、すなわち 2D 視点からの 3D 再構築、BEV グリッド上のアノテーション、特徴の統合、異なるセンサ構成間での一般化を特定すること。
• 3D 検出およびセグメンテーション性能を向上させるために、最適化された部品（損失関数、バックボーン設計、統合メカニズムなど）を含む、実証済みの実用的で実験的に検証されたレシピを提供すること。
• カメラのみと LiDAR に基づく 3D 認識の性能ギャップを、検証済みの体系的かつ再現可能なパイプラインを提供することで埋めること。

提案手法

• 入力モダリティに基づいて、BEV カメラ、BEV LiDAR、BEV フュージョンの3つに分類することで、BEV 認識の統一フレームワークを提案する。
• ボクセル化の前段階で軽量な MLP を用いた特徴抽出を実施する改良型 SPVCNN アーキテクチャ「Voxel-SPVCNN」を導入。ポイントベースのブランチにおける計算コストを低減するためのボクセル・オブ・ポイントブランチも採用。
• カメラのみの BEV 検出において、2D 検出および深度監視の補助損失を採用することで、2D 特徴の学習を強化し、3D 局所化の精度を向上させる。
• LiDAR セグメンテーションにおいて、境界検出の向上とクラス不均衡の緩和を目的として、Geo 損失および Lovász 損失といった高度な損失関数を採用。
• バックボーン初期化、データオーグメンテーション、トレーニングスケジューリングを含む、包括的な実用的技術群（「テクニックのバッグ」）を開発。複数のベンチマークで検証済み。
• 再現性とコミュニティの採用を支援するため、https://github.com/OpenDriveLab/Birds-eye-view-Perception にてオープンソースのツールボックスをリリース。

実験結果

リサーチクエスチョン

• RQ1 BEV 認識において、2D パースペクティブ・ビューからどのようにして 3D 空間情報を効果的に再構築できるか？
• RQ2 BEV を用いた 3D 検出およびセグメンテーション性能を向上させるために、最も効果的な損失関数とトレーニング戦略は何か？
• RQ3 カメラ、LiDAR、GNSS などの多様なセンサからの特徴表現を、BEV 空間でどのように効果的に整列・統合できるか？
• RQ4 異なるセンサ構成やベンチマークで一貫した性能向上をもたらす体系的な設計選択とは何か？
• RQ5 基礎モデルの知識を活用することで、BEV 認識システムの一般化性とロバスト性をどのように向上できるか？

主な発見

• 提案された Voxel-SPVCNN は、ポイントベースのブランチにおける最適化されたボクセライゼーションにより計算コストを低減することで、LiDAR セグメンテーションベンチマークで mIoU を 1.1 向上させた。
• カメラのみの BEV 検出において、補助的な 2D 検出および深度監視損失が、最小限のアーキテクチャ変更で 3D 局所化の精度を顕著に向上させた。
• LiDAR セグメンテーションに Geo 損失および Lovász 損失を適用することで、それぞれ mIoU が 0.6 ずつ向上した。これは、境界処理の向上とクラス不均衡の緩和によるものである。
• カメラのみの BEV モデルに 2D 検出ヘッドと深度監視を組み合わせることで、特に Waymo や nuScenes のような困難なベンチマークにおいて、LiDAR 僅きの手法との性能ギャップが縮小された。
• オープンソースのツールボックスと体系的なレシピのおかげで、複数のデータセットで一貫した性能向上が達成され、BEV 認識パイプラインにおける再現可能な改善が実証された。