[論文レビュー] Towards Vehicle-to-everything Autonomous Driving: A Survey on Collaborative Perception

Si Liu, Chen Gao+9 more|arXiv (Cornell University)|Aug 31, 2023

Advanced Neural Network Applications被引用数 18

ひとこと要約

この調査はV2X自動運転における協調認識（CP）をレビューし、システムアーキテクチャ、データセット、CP手法、遅延/ノイズ下でのロバスト性、帯域幅と精度のトレードオフ、シムから現実への一般化を網羅し、豊富な実験的洞察を提供する。

ABSTRACT

Vehicle-to-everything (V2X) autonomous driving opens up a promising direction for developing a new generation of intelligent transportation systems. Collaborative perception (CP) as an essential component to achieve V2X can overcome the inherent limitations of individual perception, including occlusion and long-range perception. In this survey, we provide a comprehensive review of CP methods for V2X scenarios, bringing a profound and in-depth understanding to the community. Specifically, we first introduce the architecture and workflow of typical V2X systems, which affords a broader perspective to understand the entire V2X system and the role of CP within it. Then, we thoroughly summarize and analyze existing V2X perception datasets and CP methods. Particularly, we introduce numerous CP methods from various crucial perspectives, including collaboration stages, roadside sensors placement, latency compensation, performance-bandwidth trade-off, attack/defense, pose alignment, etc. Moreover, we conduct extensive experimental analyses to compare and examine current CP methods, revealing some essential and unexplored insights. Specifically, we analyze the performance changes of different methods under different bandwidths, providing a deep insight into the performance-bandwidth trade-off issue. Also, we examine methods under different LiDAR ranges. To study the model robustness, we further investigate the effects of various simulated real-world noises on the performance of different CP methods, covering communication latency, lossy communication, localization errors, and mixed noises. In addition, we look into the sim-to-real generalization ability of existing CP methods. At last, we thoroughly discuss issues and challenges, highlighting promising directions for future efforts. Our codes for experimental analysis will be public at https://github.com/memberRE/Collaborative-Perception.

研究の動機と目的

• 典型的なV2Xシステムアーキテクチャと、それにおける協調認識の役割を説明する。
• 複数の視点（統合段階、センサ配置、遅延、ロバスト性など）から、CPデータセットと手法を網羅的にカタログ化・分析する。
• 帯域幅、LiDARレンジ、ノイズ、シム-to-real一般化を扱う実験を通じてCP手法を評価する。
• V2XにおけるCPの未解決問題、ロバスト性の課題、および有望な将来の方向性を特定する。
• 今後のCP研究とV2Xシステムへの展開を導く実用的な洞察を提供する。

提案手法

• 協調段階（初期、中間、後期融合）別のCP手法の分類を提示する。
• 路側センサーの配置とCP性能への影響を分析する。
• 遅延補償技術を論じ、それらを融合段階別に分類する。
• 特徴量圧縮と選択伝送による協調効率と帯域幅-精度のトレードオフを評価する。
• データセット（シミュレーションと実世界）と標準的なCPタスク（3D物体検出、セマンティックセグメンテーション）を評価指標とともに要約する。
• 帯域幅、LiDARレンジ、ノイズ、そしてシム-to-real一般化に関する広範な実験分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 実用的なV2Xシステムのアーキテクチャ要素とワークフローは何であり、CPがそれらで果たす役割は何か？
• RQ2 CP手法は協調段階、センサ配置、ロバスト性の考慮事項によってどのように異なるか？
• RQ3 伝送帯域幅、LiDARレンジ、現実世界のノイズがCP性能に与える影響は何であり、手法はこれらの問題をどのように軽減するか？
• RQ4 CP手法はシミュレーションから現実世界のシナリオへどの程度一般化するか、主要な未解決課題と将来の方向性は何か？
• RQ5 V2XにおけるCPのデータセットはどのようなものが存在し、検出、追跡、セマンティックセグメンテーションタスクの評価をどのように支援するか？

主な発見

• CPは車両とインフラストラクチャからのV2X情報を活用することで、遮蔽と長距離知覚の制限を克服できる。
• 後期融合は現在、帯域幅要件が低いため産業界で優勢だが、精度とロバスト性のペナルティを招く可能性がある。
• 実験分析は性能-帯域幅のトレードオフと、異なるLiDARレンジがCP手法に与える影響について重要な洞察を明らかにする。
• 遅延と通信損失はCP性能に大きく影響し、さまざまな遅延補償戦略が提案されている（時系列予測、遅延対応モジュール、タイム補償）。
• シム-to-real一般化は引き続き重要な課題であり、研究はシミュレーションデータと実世界データ間のクロスドメインロバスト性を評価している。
• 多様なCPデータセット（シミュレーションベースと実世界の双方）は、V2VおよびV2Iシナリオでの評価を支え、フレーム内でのより大規模なマルチエージェント協調の必要性を浮き彫りにしている。