[論文レビュー] V2X-ViT: Vehicle-to-Everything Cooperative Perception with Vision Transformer

Runsheng Xu, Xiang Hao+4 more|arXiv (Cornell University)|Mar 20, 2022

Advanced Neural Network Applications被引用数 10

ひとこと要約

本稿では、車両およびインフラストラクチャを含む異種エージェントを統合的に扱い、複数ソースのノイジーや非同期に共有される視覚特徴を強固に融合する、V2X協調認識を目的とした統合型ビジョントランスフォーマーアーキテクチャ「V2X-ViT」を提案する。エンド・トゥ・エンドで学習可能なフレームワーク内に異種マルチエージェント自己注意機構とマルチスケール窓自己注意モジュールを統合することで、厳しいノイズ環境下でも単一エージェントベースライン比で21.2%のAP向上を達成し、最先端の3次元物体検出性能を実現した。

ABSTRACT

In this paper, we investigate the application of Vehicle-to-Everything (V2X) communication to improve the perception performance of autonomous vehicles. We present a robust cooperative perception framework with V2X communication using a novel vision Transformer. Specifically, we build a holistic attention model, namely V2X-ViT, to effectively fuse information across on-road agents (i.e., vehicles and infrastructure). V2X-ViT consists of alternating layers of heterogeneous multi-agent self-attention and multi-scale window self-attention, which captures inter-agent interaction and per-agent spatial relationships. These key modules are designed in a unified Transformer architecture to handle common V2X challenges, including asynchronous information sharing, pose errors, and heterogeneity of V2X components. To validate our approach, we create a large-scale V2X perception dataset using CARLA and OpenCDA. Extensive experimental results demonstrate that V2X-ViT sets new state-of-the-art performance for 3D object detection and achieves robust performance even under harsh, noisy environments. The code is available at https://github.com/DerrickXuNu/v2x-vit.

研究の動機と目的

• 視認範囲の制限や遮蔽といった単一車両認識の限界を、車両およびレーンサイドインフラストラクチャ間の協調認識によって克服すること。
• センサーモダリティ、設置高さ、ノイズレベルの差異を含むV2Xエージェントの異種性を処理できる統一的でエンド・トゥ・エンドで学習可能なトランスフォーマーフレームワークを設計すること。
• 非同期データ共有、GPS局所化誤差、V2X通信における時間遅延といった課題を、新規の注意メカニズムと遅延対応位置符号化により緩和すること。
• 実世界の通信不具合を再現した大規模かつ現実的なシミュレーションデータセットを構築し、V2X認識システムのベンチマーク評価を可能とすること。

提案手法

• 異種エージェント間の特徴融合と局所的・グローバルな空間的関係の捉え込みを目的として、異種マルチエージェント自己注意（HMSA）とマルチスケール窓自己注意（MSwin）を交互に配置したV2X-ViTを提案する。
• エージェントタイプ（車両、インフラストラクチャ）とその相互接続性を明示的にモデル化する異種マルチエージェント自己注意モジュールを導入し、異種特徴の適応的融合を可能にする。
• 異なる解像度の並列ウィンドウを用いることで、局所化誤差や特徴のずれに対して耐性を高めるマルチスケール窓自己注意機構を採用する。
• 非同期V2X通信に起因する時間遅延を補償する遅延対応位置符号化を組み込み、特徴の時系列的整合性を向上させる。
• エンド・トゥ・エンドで最適化可能な統一トランスフォーマーアーキテクチャを採用し、ノイジーで不確実な条件下での強固な特徴融合を実現する。
• 帯域幅を削減しながら検出性能を維持するため、中間の深層特徴をエージェント間で送信するための圧縮および通信パイプラインを採用する。

実験結果

リサーチクエスチョン

• RQ1 統一型ビジョントランスフォーマー・アーキテクチャは、V2X協調認識における車両およびインフラストラクチャからの異種視覚特徴を効果的に統合できるか？
• RQ2 提案された異種マルチエージェント自己注意機構は、異種V2X環境下で標準的な自己注意と比較して、特徴統合をどのように向上させるか？
• RQ3 マルチスケール窓自己注意機構は、V2Xデータ統合における局所化誤差や時間遅延に対して、どの程度耐性を高めるか？
• RQ4 遅延対応位置符号化は、非同期通信条件下での性能をどのように向上させるか？
• RQ5 実際のノイジーで非同期な通信環境下において、V2X-ViTは単一エージェントおよび既存の協調認識手法に比べてどの程度の性能向上を達成するか？

主な発見

• 提案されたV2XSetデータセット上での評価において、V2X-ViTは単一エージェントベースライン比で平均精度（AP）が21.2%の絶対的向上を達成した。
• ノイジー通信環境下でも、F-Cooper、OPV2V、V2VNet、DiscoNetといった最先端の中間統合手法を最低7.3%のAP向上で上回った。
• 極度に遮蔽され、混雑した交通状況（例：シーン7）においても、V2X-ViTは少ない誤検出と回帰ずれを維持し、高い検出精度を発揮した。
• 注意可視化の結果、エゴ車両が遮蔽領域において特にインフラストラクチャの特徴に高い注目を向けることが確認され、モデルが広範囲で視認性に優れたインフラの視点を効果的に活用できることを裏付けた。
• さまざまなデータ送信サイズと時間遅延の下でもモデルの性能が安定しており、一様な遅延分布を用いてモデル化された現実的な通信不確実性に対しても耐性を示した。
• 提案されたV2XSetデータセットにより、変動する遅延やパケット損失を含む実世界の通信不具合を再現した、V2X認識システムの現実的評価が可能になった。