[論文レビュー] OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication

Runsheng Xu, Xiang Hao+4 more|arXiv (Cornell University)|Sep 16, 2021

Autonomous Vehicle Technology and Safety被引用数 13

ひとこと要約

本論文は、LiDARと協調通信を用いた車両間（V2V）認識のための、初めての大規模オープンベンチマークデータセットおよび統合パイプラインであるOPV2Vを紹介する。本研究では、複数の接続された車両からの特徴を統合するために注意メカニズムを活用する「注意型中間統合」手法を提案し、4096倍の圧縮率でさえも最先端の3次元物体検出性能を達成しており、帯域幅を顕著に削減しながらも高い精度を維持している。

ABSTRACT

Employing Vehicle-to-Vehicle communication to enhance perception performance in self-driving technology has attracted considerable attention recently; however, the absence of a suitable open dataset for benchmarking algorithms has made it difficult to develop and assess cooperative perception technologies. To this end, we present the first large-scale open simulated dataset for Vehicle-to-Vehicle perception. It contains over 70 interesting scenes, 11,464 frames, and 232,913 annotated 3D vehicle bounding boxes, collected from 8 towns in CARLA and a digital town of Culver City, Los Angeles. We then construct a comprehensive benchmark with a total of 16 implemented models to evaluate several information fusion strategies~(i.e. early, late, and intermediate fusion) with state-of-the-art LiDAR detection algorithms. Moreover, we propose a new Attentive Intermediate Fusion pipeline to aggregate information from multiple connected vehicles. Our experiments show that the proposed pipeline can be easily integrated with existing 3D LiDAR detectors and achieve outstanding performance even with large compression rates. To encourage more researchers to investigate Vehicle-to-Vehicle perception, we will release the dataset, benchmark methods, and all related codes in https://mobility-lab.seas.ucla.edu/opv2v/.

研究の動機と目的

• V2V認識アルゴリズムのベンチマーク化のための大規模かつ公開可能なデータセットの不足に対処すること。
• 標準化されたベンチマーク上で、早期統合、後期統合、中間統合の各戦略を体系的に評価可能にするための目的。
• 帯域制限下でも検出精度を向上させる、新規の注意型中間統合パイプラインの開発および検証。
• 研究を促進するため、包括的なデータセット、ベンチマークコード、およびモデルを公開すること。

提案手法

• 著者らは、CARLAとカーバーリー・シティのデジタルツインを用いて大規模なシミュレーテッドデータセットを構築し、73のシーン、11,464フレーム、232,913件の3次元車両アノテーションを含む。
• 最先端の3次元LiDAR検出器（例：VoxelNet、PIXOR）を用い、早期統合、後期統合、中間統合の異なる統合戦略を組み合わせた16種類のモデルを実装した。
• 提案された注意型中間統合パイプラインは、自己注意メカニズムを用いて、複数の接続された車両からの中間特徴を動的に重み付け・集約する。
• 特徴マップの圧縮を可能にする学習可能なエンコーダ・デコーダアーキテクチャを採用し、最大4096倍の圧縮率を達成しながら精度の損失を最小限に抑える。
• ベンチマークでは、IoU閾値が0.5および0.7のときのAPを用いて性能を評価し、CARLAの町とカーバーリー・シティの別々のテスト分割を用いてドメインシフトの影響を評価した。
• すべてのモデルは、エアリー・ストッピングを適用しながら、4台のRTX 3090 GPUを用いてAdam最適化手法で学習し、コードベースの全容を公開した。

(a)

実験結果

リサーチクエスチョン

• RQ1 実際の遮蔽状況下で、早期統合、後期統合、中間統合の各統合戦略におけるV2V認識の性能はどのように変化するか？
• RQ2 特に高いデータ圧縮率下でも、注意メカニズムを用いた中間統合は、早期統合および後期統合に比べてどの程度検出精度を向上させられるか？
• RQ3 深刻な遮蔽が生じる複雑な都市部交差点において、接続された車両（CAV）の数が検出性能に与える影響は何か？
• RQ4 V2V通信におけるデータ圧縮率と検出精度のトレードオフは何か？また、軽量なパイプラインは極端な圧縮率下でも高い性能を維持できるか？
• RQ5 合成されたCARLA環境と実世界を模したデジタルタウン（カーバーリー・シティ）との間のドメインシフトは、モデルの汎化性能や性能にどのように影響するか？

主な発見

• 提案された注意型中間統合パイプラインを用いた中間統合は、全テストモデルの中でIoU=0.7における平均精度（AP）が最高を記録し、早期統合および後期統合戦略を上回った。
• 注意型中間統合手法は、4096倍の圧縮率下でも、わずか3%のAP低下に抑え、同条件での早期統合および後期統合を顕著に上回った。
• 4台のCAVを追加するだけで顕著な検出性能の向上が得られ、視野カバーが十分に確保されたため、4台を超えると利得の逓減が見られた。
• 実世界を模したカーバーリー・シティデータセットでは、CARLAの町よりも一般的に性能が低く、より現実的な交通パターンと深刻な遮蔽によるドメインギャップが示唆された。
• 全統合手法が、両テストセットにおいて非統合ベースラインに比べて少なくとも10%のAP向上を示し、協調認識の持続的で有益な効果を裏付けた。
• ベンチマークは、特に注意メカニズムを用いた中間統合が、エージェント間の相関関係を効果的に捉え、遮蔽された小型車両の検出を向上させることを示した。

(b)