[논문 리뷰] Towards Vehicle-to-everything Autonomous Driving: A Survey on Collaborative Perception

Si Liu, Chen Gao외 9명|arXiv (Cornell University)|2023. 08. 31.

Advanced Neural Network Applications인용 수 18

한 줄 요약

본 고찰은 V2X 자율주행을 위한 협업 인식(CP)을 다루며, 시스템 아키텍처, 데이터셋, CP 방법, 지연/잡음 하에서의 견고성, 대역폭-정확도 트레이드오프, 그리고 sim-to-real 일반화에 대해 다루고 있으며, 광범위한 실험적 통찰을 제공합니다.

ABSTRACT

Vehicle-to-everything (V2X) autonomous driving opens up a promising direction for developing a new generation of intelligent transportation systems. Collaborative perception (CP) as an essential component to achieve V2X can overcome the inherent limitations of individual perception, including occlusion and long-range perception. In this survey, we provide a comprehensive review of CP methods for V2X scenarios, bringing a profound and in-depth understanding to the community. Specifically, we first introduce the architecture and workflow of typical V2X systems, which affords a broader perspective to understand the entire V2X system and the role of CP within it. Then, we thoroughly summarize and analyze existing V2X perception datasets and CP methods. Particularly, we introduce numerous CP methods from various crucial perspectives, including collaboration stages, roadside sensors placement, latency compensation, performance-bandwidth trade-off, attack/defense, pose alignment, etc. Moreover, we conduct extensive experimental analyses to compare and examine current CP methods, revealing some essential and unexplored insights. Specifically, we analyze the performance changes of different methods under different bandwidths, providing a deep insight into the performance-bandwidth trade-off issue. Also, we examine methods under different LiDAR ranges. To study the model robustness, we further investigate the effects of various simulated real-world noises on the performance of different CP methods, covering communication latency, lossy communication, localization errors, and mixed noises. In addition, we look into the sim-to-real generalization ability of existing CP methods. At last, we thoroughly discuss issues and challenges, highlighting promising directions for future efforts. Our codes for experimental analysis will be public at https://github.com/memberRE/Collaborative-Perception.

연구 동기 및 목표

• 일반적인 V2X 시스템 아키텍처와 그 안에서 협업 인식의 역할을 설명한다.
• 융합 단계, 센서 배치, 지연, 견고성 등 여러 관점에서 CP 데이터셋과 방법을 분류하고 분석한다.
• 대역폭, LiDAR 범위, 잡음, 그리고 sim-to-real 일반화에 대한 실험을 통해 CP 방법을 평가한다.
• V2X에서 CP의 개방 이슈, 견고성 문제, 그리고 유망한 향후 방향을 식별한다.
• 향후 CP 연구 및 V2X 시스템 배치를 위한 실행 가능한 인사이트를 제공한다.

제안 방법

• 협업 단계(초기, 중간, 후기 융합)에 따른 CP 방법의 분류 체계를 제시한다.
• 노변(현장) 센서 배치와 CP 성능에 미치는 영향을 분석한다.
• 지연 보상 기술을 논의하고 융합 단계별로 분류한다.
• 특징 압축과 선택적 전송을 통한 협업 효율성 및 대역폭-정확도 트레이드오프를 평가한다.
• 시뮬레이션 및 실제 세계 데이터셋과 표준 CP 작업(3D 물체 탐지, 의미 분할)을 평가 지표와 함께 요약한다.
• 대역폭, LiDAR 범위, 잡음, 및 sim-to-real 일반화에 대한 광범위한 실험 분석을 제공한다.

실험 결과

연구 질문

• RQ1 실용적인 V2X 시스템의 구성 요소와 워크플로우는 어떠하며, 그 안에서 CP의 역할은 무엇인가?
• RQ2 협업 단계, 센서 배치 및 견고성 고려에 따라 CP 방법은 어떻게 달라지는가?
• RQ3 전송 대역폭, LiDAR 범위, 실제 세계의 잡음이 CP 성능에 미치는 영향은 무엇이며, 방법은 이러한 문제를 어떻게 완화하는가?
• RQ4 CP 방법은 시뮬레이션에서 실제 세계 시나리오로 얼마나 잘 일반화되며, 주요 개방 과제와 미래 방향은 무엇인가?
• RQ5 V2X에서 CP를 위한 데이터세트는 무엇이 있으며, 탐지, 추적 및 분할 작업의 평가를 어떻게 지원하는가?

주요 결과

• 차량 및 인프라로부터의 V2X 정보를 활용하여 CP는 차폐 현상과 원거리 인지의 한계를 극복할 수 있다.
• 현재 산업계에서 대역폭 요구가 낮아 후기 융합이 지배적이지만, 정확도와 견고성에 비용을 초래할 수 있다.
• 실험 분석은 성능-대역폭 트레이드오프와 서로 다른 LiDAR 범위가 CP 방법에 미치는 영향에 대한 중요한 통찰을 제시한다.
• 지연 및 통신 손실은 CP 성능에 크게 영향을 미치며, 다양한 지연 보상 전략이 제안되었다(시계열 예측, 지연 인식 모듈, 시간 보상).
• 시뮬레이션-실세계 일반화는 여전히 중요한 과제이며, 연구들은 시뮬레이션 데이터와 실제 데이터 간의 도메인 간 견고성을 평가한다.
• 시뮬레이션 기반과 실제 세계 데이터셋을 모두 포함한 다양한 CP 데이터셋은 V2V 및 V2I 시나리오에 걸친 평가를 지원하며, 프레임에서 더 큰 다중 에이전트 협력이 필요함을 강조한다.