[論文レビュー] RoboBEV: Towards Robust Bird's Eye View Perception under Corruptions

Shaoyuan Xie, Lingdong Kong+5 more|arXiv (Cornell University)|Apr 13, 2023

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、環境的要因（濃霧、雪）やセンサー由来の要因（ブレーキングによるぼやけ、色の量子化）に加え、時間的要因（カメラの故障、フレーム損失）を含む8種類の自然な劣化条件下で、カメラベースのビューアー・エイプ・ビジョン（BEV）推論モデルの耐性を評価する包括的なベンチマーク「RoboBEV」を紹介する。研究では、事前学習および深度非依存のBEV変換が分布外の耐性を向上させることを明らかにした一方で、長距離の時間的モデリングが劣化下での性能を顕著に改善することが示された。

ABSTRACT

The recent advances in camera-based bird's eye view (BEV) representation exhibit great potential for in-vehicle 3D perception. Despite the substantial progress achieved on standard benchmarks, the robustness of BEV algorithms has not been thoroughly examined, which is critical for safe operations. To bridge this gap, we introduce RoboBEV, a comprehensive benchmark suite that encompasses eight distinct corruptions, including Bright, Dark, Fog, Snow, Motion Blur, Color Quant, Camera Crash, and Frame Lost. Based on it, we undertake extensive evaluations across a wide range of BEV-based models to understand their resilience and reliability. Our findings indicate a strong correlation between absolute performance on in-distribution and out-of-distribution datasets. Nonetheless, there are considerable variations in relative performance across different approaches. Our experiments further demonstrate that pre-training and depth-free BEV transformation has the potential to enhance out-of-distribution robustness. Additionally, utilizing long and rich temporal information largely helps with robustness. Our findings provide valuable insights for designing future BEV models that can achieve both accuracy and robustness in real-world deployments.

研究の動機と目的

• 実世界の劣化要因にさらされたカメラベースBEV推論モデルの耐性に関する理解の空白を埋める。
• 自動運転の場面で一般的に見られる多様な自然劣化要因にさらされた際の、既存のBEVモデルの性能を評価する。
• 分布内性能に依存せずに耐性を向上させるアーキテクチャ的・学習戦略的要因を同定する。
• 安全が求められる現場での応用に耐える、正確かつ信頼性の高い将来のBEVモデル設計に役立つインサイトを提供する。

提案手法

• 8種類の異なる劣化タイプ（明るさ、暗さ、濃霧、雪、ブレーキングによるぼやけ、色の量子化、カメラの故障、フレーム損失）を備えた、新規のベンチマークスイート「RoboBEV」を提案。
• 標準的なBEV検出ベンチマーク（nuScenesを含む）に、3段階の劣化強度を適用し、実世界の分布シフトを模擬。
• クリーンな状態と劣化状態の両方で、26の最先端のカメラベースBEV推論モデルを評価し、耐性を測定。
• 包括的な評価のため、標準化された指標（NuScenes検出スコア（NDS）、mAP、局在誤差（mATE、mASEなど））を採用。
• 事前学習、深度非依存BEV変換、時間的モデリングの影響を、劣化タイプごとのモデル変種を比較することで分析。
• レーダーチャートと統計的分析を用いて、性能低下の様相を可視化し、モデル間での耐性パターンを同定。

Figure 1: The radar charts of existing BEV detectors’ nuScenes Detection Score (NDS) [ 3 ] under eight corruption types. We observe diverse behaviors of different models even with competitive “clean” performance. The NDS is normalized across all the benchmarking BEV models to lie between 0.1 and 1.

実験結果

リサーチクエスチョン

• RQ1 既存のBEVモデルは、さまざまな自然劣化要因下でどのように性能を示すか。また、クリーンな状態での性能と劣化下での耐性の間に強い相関があるか。
• RQ2 事前学習や深度非依存BEV変換といった、アーキテクチャ的・学習的要因の中で、分布外耐性を最も顕著に向上させる要因は何か。
• RQ3 長時間にわたる豊富な時間的情報を活用することで、フレーム損失やカメラの故障といった時間的劣化に対して、どの程度モデルの耐性が向上するか。
• RQ4 特定の劣化タイプがモデル性能を著しく低下させる場合があり、それがモデルアーキテクチャによって異なるか。

主な発見

• 分布内性能と劣化下での耐性の間に強い相関が存在するが、相対的な耐性は絶対的性能順位に常に従うわけではない。
• 事前学習および深度非依存BEV変換を採用するモデルは、すべての劣化タイプにおいて顕著に耐性が向上しており、重要な設計的利点であることが示された。
• より長く豊かな時間的モデリングは、特にフレーム損失やカメラの故障といった時間的劣化下で、耐性を顕著に向上させる。
• フレーム損失やカメラの故障といった時間的劣化は、最も深刻な性能低下を引き起こし、一部のモデルではNDSが50％以上低下するケースも観察された。
• 雪や濃霧といった環境的劣化は、顕著な性能低下を引き起こし、極端なケース（例：SnowにおけるSOLOFusion）ではNDSが0.11まで低下した。
• 色の量子化やブレーキングによるぼやけに対しても顕著な性能低下が見られ、特にmAPや局在誤差指標に影響を及ぼし、視覚の忠実度に敏感であることが明らかになった。

Figure 2: Corruption examples from the RoboBEV benchmark. Left: Corruption taxonomy. Right: Temporal corruptions. Camera Crash drop fixed set of images along timestamps; Frame Lost randomly drop frames along timestamps. More examples are in Appendix 9.3 .