[論文レビュー] CoBEVFusion: Cooperative Perception with LiDAR-Camera Bird's-Eye View Fusion

Donghao Qiao, Farhana Zulkernine|arXiv (Cornell University)|Oct 9, 2023

Advanced Neural Network ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、二重窓ベースのクロスアテンション（DWCA）モジュールを用いてLiDARとカメラデータを統合的ベーシックエイプ（BEV）表現に融合する協調的センシングフレームワーク、CoBEVFusionを提案する。この手法により、連結自動運転車（CAV）が融合済みのBEV特徴を共有することで、3次元物体検出およびBEVセマンティックセグメンテーションの性能が向上し、OPV2Vベンチマークにおいて最先端の性能を達成した。車両検出ではAP@.7が92.5%、ドメイン適応では86.5%を記録した。

ABSTRACT

Autonomous Vehicles (AVs) use multiple sensors to gather information about their surroundings. By sharing sensor data between Connected Autonomous Vehicles (CAVs), the safety and reliability of these vehicles can be improved through a concept known as cooperative perception. However, recent approaches in cooperative perception only share single sensor information such as cameras or LiDAR. In this research, we explore the fusion of multiple sensor data sources and present a framework, called CoBEVFusion, that fuses LiDAR and camera data to create a Bird's-Eye View (BEV) representation. The CAVs process the multi-modal data locally and utilize a Dual Window-based Cross-Attention (DWCA) module to fuse the LiDAR and camera features into a unified BEV representation. The fused BEV feature maps are shared among the CAVs, and a 3D Convolutional Neural Network is applied to aggregate the features from the CAVs. Our CoBEVFusion framework was evaluated on the cooperative perception dataset OPV2V for two perception tasks: BEV semantic segmentation and 3D object detection. The results show that our DWCA LiDAR-camera fusion model outperforms perception models with single-modal data and state-of-the-art BEV fusion models. Our overall cooperative perception architecture, CoBEVFusion, also achieves comparable performance with other cooperative perception models.

研究の動機と目的

• センサの限界（遮蔽や視野の制限）を補うために、マルチモーダルセンシング統合を活用し、単一センサのセンシングの限界を是正すること。
• 生データや予測結果ではなく、融合済みのLiDAR-カメラBEV表現を共有することで、連結自動運転車（CAV）における協調的センシングを向上させること。
• スパースなLiDARポイントクラウドと密度の高いカメラ特徴を統一BEV空間で整列・統合する効果的なクロスアテンション機構を開発すること。
• 協調的センシング環境下で、BEVセマンティックセグメンテーションおよび3次元物体検出の両タスクにおいて、強固で高精度なセンシングを実現すること。
• 大規模なシミュレーテッドベンチマーク（OPV2V）上で提案フレームワークを評価し、単モーダルおよび最先端のマルチモーダル統合モデルと比較して優れた性能を示すこと。

提案手法

• フレームワークは、二重窓ベースのクロスアテンション（DWCA）モジュールを採用しており、入力順序を逆転させた二つのクロスアテンションブロックを適用する：一方ではLiDAR特徴をクエリとし、カメラ特徴をキーとする。逆に、カメラ特徴をクエリとし、LiDAR特徴をキーとする。
• LiDARポイントクラウドとマルチビューカメラ画像は、まず幾何的・意味的整列を図るために、共通のビューディスプレイエイプ（BEV）特徴空間に変換・投影される。
• DWCAモジュールにより、両モダリティが互いの表現に注目できるようになり、双方向の特徴強化が可能となり、特徴品質と文脈理解が向上する。
• 複数のCAVから得られる融合済みBEV表現は、3次元畳み込みニューラルネットワーク（3D-CNN）を用いて集約され、センシングの耐障害性とカバー範囲が向上する。
• 中間統合を採用し、V2X通信を介して、生データや予測結果ではなく、融合済みのBEV特徴のみを共有することで、帯域幅効率と文脈情報の両立を実現する。
• 全パイプラインはエンドツーエンドで学習可能であり、BEVセマンティックセグメンテーションおよび3次元物体検出の2つのタスクに最適化されている。

実験結果

リサーチクエスチョン

• RQ1 二重アテンション機構は、統一BEV表現においてスパースなLiDARポイントクラウドと密度の高いカメラ画像を効果的に統合できるか？
• RQ2 共有された融合済みBEV特徴を用いた協調的センシングは、単一車両のセンシングや他の統合戦略と比較して、検出精度および耐障害性に優れているか？
• RQ3 DWCAモジュールは、既存のアテンションベースの統合手法に比べ、マルチモーダルBEVセンシングにおいてどれほど優れているか？
• RQ4 BEV空間におけるLiDARとカメラデータの協調的統合は、遠方または遮蔽された車両の検出を顕著に向上させるか？
• RQ5 本フレームワークは、新しい環境へのドメイン適応のような実世界一般化ベンチマークでも優れた性能を示すか？

主な発見

• DWCAモジュールは、車両検出の3次元物体検出でAP@.7が64.7%を達成し、単一モーダルのPointPillarsベースライン（60.2%）を顕著に上回った。
• CoBEVFusionは、OPV2VデフォルトCARLAタウンテストセットにおける車両検出でAP@.7が92.5%を記録し、比較対象のすべてのモデル、S-AdaFusion（91.6%）を含む最先端手法を上回った。
• クルーバーシティドメイン適応ベンチマークでは、CoBEVFusionがAP@.7で86.5%を達成し、次善のモデル（C-AdaFusion：81.4%）を上回った。
• アブレーションスタディの結果、DWCA（LCおよびCLブロックの両方を組み合わせたもの）は、走行可能領域分類でmIoUが61.4、レーンセグメンテーションで47.6を達成し、単一モーダルベースラインを上回った。
• 定性的な結果から、協調的センシングにより、特に交差点手前での遠方・遮蔽車両の検出が顕著に向上した。
• 本フレームワークは、中間統合による融合済みBEV表現の共有が、早期統合や後期統合と比較して帯域幅効率と文脈情報保持の両立に優れたトレードオフを提供することを示した。