[論文レビュー] CoBEVT: Cooperative Bird's Eye View Semantic Segmentation with Sparse Transformers

Runsheng Xu, Zhengzhong Tu+4 more|arXiv (Cornell University)|Jul 5, 2022

Advanced Neural Network Applications被引用数 78

ひとこと要約

CoBEVT は融合型 axial (FAX) 疎 Transformer を用いた協調 BEV セマンティックセグメンテーションの汎用マルチエージェント・マルチカメラフレームワークを導入し、OPV2V で最先端の結果を達成するとともに、単一エージェント BEV およびマルチエージェント LiDAR タスクへの一般化を示します。

ABSTRACT

Bird's eye view (BEV) semantic segmentation plays a crucial role in spatial sensing for autonomous driving. Although recent literature has made significant progress on BEV map understanding, they are all based on single-agent camera-based systems. These solutions sometimes have difficulty handling occlusions or detecting distant objects in complex traffic scenes. Vehicle-to-Vehicle (V2V) communication technologies have enabled autonomous vehicles to share sensing information, dramatically improving the perception performance and range compared to single-agent systems. In this paper, we propose CoBEVT, the first generic multi-agent multi-camera perception framework that can cooperatively generate BEV map predictions. To efficiently fuse camera features from multi-view and multi-agent data in an underlying Transformer architecture, we design a fused axial attention module (FAX), which captures sparsely local and global spatial interactions across views and agents. The extensive experiments on the V2V perception dataset, OPV2V, demonstrate that CoBEVT achieves state-of-the-art performance for cooperative BEV semantic segmentation. Moreover, CoBEVT is shown to be generalizable to other tasks, including 1) BEV segmentation with single-agent multi-camera and 2) 3D object detection with multi-agent LiDAR systems, achieving state-of-the-art performance with real-time inference speed. The code is available at https://github.com/DerrickXuNu/CoBEVT.

研究の動機と目的

• 遮蔽と深度の制限がある単一エージェント BEV システムを克服するための協調知覚の動機づけ。
• BEV セグメンテーションのためにマルチビュー・マルチエージェントのカメラ特徴を統合する汎用 Transformer ベースのフレームワークを開発。
• V2V 通信制約に適したメモリ・計算効率の高い特徴統合モジュールを設計。
• 単一エージェント BEV セグメンテーションおよびマルチエージェント LiDAR ベースの 3D 検出への一般化を実証。

提案手法

• 各エージェントごとにマルチビューのカメラ画像から高解像度 BEV 特徴を計算する SinBEVT を提案。
• 局所（3D ウィンドウ）と疎なグローバルアテンションを備えたマルチエージェント BEV 特徴統合のための 3D 融合 axial attention（FAX） Transformer である FuseBEVT を導入。
• 異なるセンシング設定に対応する FAX-SA（自己注意）および FAX-CA（クロス注意）バリアントで FAX を強化。
• V2V 放送前に BEV 特徴の圧縮用の軽量な1x1 オートエンコーダを実装し、受信時には微分可能な幾何ワーピングを適用。
• BEV 埋め込みをクエリとして高解像度のカメラ特徴を照会する際、幾何的対応を学習するためのカメラ認識的位置エンコーディングを採用。
• Adam、コサインアニーリング、ウェイト付きクロスエントロピー損失を用いた CoBEVT 全体パイプラインのエンドツーエンド訓練を提供。

実験結果

リサーチクエスチョン

• RQ1 多エージェント・マルチカメラ BEV セグメンテーションは、遮蔽されたまたは遠距離のシナリオで単一エージェント・マルチカメラ手法を上回れるか。
• RQ2 疎な統合型軸アテンション（FAX）は、計算を抑えつつエージェント間・視点間の BEV 特徴を効果的に集約できるか。
• RQ3 協調 BEV 融合は単一エージェント BEV タスクおよび LiDAR ベースの 3D 検出へどれだけ一般化するか。
• RQ4 特徴圧縮と協調エージェント数の増減が性能とレイテンシに与える影響は何か。

主な発見

手法	車両	走行可能域	車線
No Fusion	37.7	57.8	43.7
Map Fusion	45.1	60.0	44.1
F-Cooper	52.5	60.4	46.5
AttFuse	51.9	60.5	46.2
V2VNet	53.5	60.2	47.5
DiscoNet	52.9	60.7	45.8
FuseBEVT	59.0	62.1	49.2
CoBEVT	60.4	63.0	53.0

• CoBEVT は OPV2V の車両で IoU 60.4、走行可能領域で IoU 63.0、車線で IoU 53.0 を達成し、すべてのベースラインを上回る。
• FuseBEVT は 他の融合モデルを大きく上回り、IoU は車両で +5.5%、走行可能領域で +1.6%、車線で +3.4% の改善をもたらす（次点の手法と比較）。
• 特徴抽出を SinBEVT に置換すると、クラス全体で最大 +3.8% の追加 gains が得られる。
• OPV2V LiDAR-track における CoBEVT ベースの融合は IoU 0.7 で 85.2 AP を達成し、従来手法を上回り、64x の特徴圧縮でも堅牢（AP 84.9）。
• NuScenes の車両マップビュー結果は SinBEVT が RTX2080 で 37.1 IoU、35 FPS を達成し、競争力のある精度でリアルタイム性能を示す。
• アブレーション研究は、局所とグローバルな FAX コンポーネントの双方が性能に有意に寄与することを示しており、複数のカメラ/エージェントを削減しても CoBEVT は有益であり続ける。