[논문 리뷰] V2X-Sim: Multi-Agent Collaborative Perception Dataset and Benchmark for Autonomous Driving

Yiming Li, Dekun Ma외 5명|arXiv (Cornell University)|2022. 02. 17.

Video Surveillance and Tracking Methods인용 수 8

한 줄 요약

이 논문은 자율주행을 위한 공개적이고 시뮬레이션된 다중 에이전트 협업 인식 데이터셋인 V2X-Sim을 소개한다. CARLA와 SUMO를 결합하여 차량과 도로변 단말기(RSU)로부터 동기화된 다중 모odal 센서 데이터를 생성한다. 이는 감지, 추적, 분할 작업 전반에 걸쳐 협업 인식을 평가할 수 있도록 하며, 결과적으로 차량 간(V2V) 및 차량-기지 간(V2I) 협업이 특히 가림 또는 장거리 시나리오에서 성능 향상을 크게 이끌어내는 것으로 나타났다.

ABSTRACT

Vehicle-to-everything (V2X) communication techniques enable the collaboration between vehicles and many other entities in the neighboring environment, which could fundamentally improve the perception system for autonomous driving. However, the lack of a public dataset significantly restricts the research progress of collaborative perception. To fill this gap, we present V2X-Sim, a comprehensive simulated multi-agent perception dataset for V2X-aided autonomous driving. V2X-Sim provides: (1) \hl{multi-agent} sensor recordings from the road-side unit (RSU) and multiple vehicles that enable collaborative perception, (2) multi-modality sensor streams that facilitate multi-modality perception, and (3) diverse ground truths that support various perception tasks. Meanwhile, we build an open-source testbed and provide a benchmark for the state-of-the-art collaborative perception algorithms on three tasks, including detection, tracking and segmentation. V2X-Sim seeks to stimulate collaborative perception research for autonomous driving before realistic datasets become widely available. Our dataset and code are available at \url{https://ai4ce.github.io/V2X-Sim/}.

연구 동기 및 목표

• V2X 기반 자율주행에서 다중 에이전트 협업 인식을 위한 공개적이고 종합적인 데이터셋의 부족을 보완한다.
• 실제 교통 시나리오에서 차량과 RSU로부터 동기화된 다중 모달 센서 데이터를 제공함으로써 협업 인식 연구를 가능하게 한다.
• 鳥瞰도(BEV)에서 3D 객체 감지, 다중 객체 추적, 의미 분할을 포함한 다양한 인식 작업을 지원한다.
• 감지, 추적, 분할 작업 전반에 걸쳐 최신 협업 인식 알고리즘을 평가하기 위한 벤치마크를 구축한다.
• 다양한 평가 프로토콜을 제공하는 표준화된 테스트베드를 통해 통신 기반 인식 연구를 촉진한다.

제안 방법

• 실제 교통 시나리오를 구현하기 위해 SUMO를 사용하여 미세 수준의 교통 시뮬레이션을 수행하고, CARLA를 활용해 고해상도 자율주행 차량 시뮬레이션과 동기화된 센서 스트림을 제공한다.
• 다양한 차량과 중심 RSU로부터 RGB, LiDAR, 깊이, IMU, GPS 등 다중 모달 센서 데이터를 수집한다.
• 다양한 지표를 제공하기 위해 3D 경계상자, 객체 궤적, BEV에서 7개 카테고리의 의미 레이블을 포함한 지표(annotation)를 생성한다.
• 중간 단계 및 특징 기반 융합 전략(예: V2VNet, DiscoNet, When2com, Who2com)을 활용해 협업 인식 워크플로우를 구현한다.
• 표준화된 평가 지표를 포함한 벤치마크 프레임워크를 개발: 감지 작업에는 mAP, 추적 작업에는 MOTA/HOTA, 분할 작업에는 mIoU를 사용한다.
• 전달된 특징에 대해 1×1 오토인코더를 사용한 포즈 노이즈 및 대역폭 압축 테스트를 통해 복원력 평가를 수행한다.

실험 결과

연구 질문

• RQ1 V2V 및 V2I 통신을 활용한 협업 인식이 가림 또는 장거리 시나리오에서 감지 성능에 어떻게 기여하는가?
• RQ2 다양한 특징 융합 전략(예: 주의 기반 vs 기하학적)이 협업 환경에서 다중 객체 추적 정확도에 미치는 영향은 어느 정도인가?
• RQ3 차량 및 보행자와 같은 안전에 중요한 클래스의 의미 분할 성능을 V2V 및 V2I 협업을 통해 크게 향상시킬 수 있는가?
• RQ4 실제 포즈 오차 및 제한된 통신 대역폭 상황에서 협업 인식 모델의 복원력은 어느 정도인가?
• RQ5 다중 에이전트 인식 작업에서 하한 기준(개별 인식)과 상한 기준(완전 협업) 간의 성능 격차는 얼마나 되는가?

주요 결과

• 상한 기준 모델은 차량 분할에서 64.09%의 mIoU, 보행자 분할에서 31.54%를 기록하여 하한 기준(45.93% 및 20.59%)보다 뚜렷이 높은 성능을 보이며 협업의 가치를 입증한다.
• V2I 통합은 다중 객체 추적에서 MOTA를 크게 향상시키지만, MOTP에는 영향을 거의 주지 않아 추적 품질은 향상되나 정확도는 개선되지 않는 것으로 나타났다.
• 주의 기반 방법(When2com, Who2com)은 협업자 선택에서 정렬 오류가 발생해 높은 상관관계가 있는 시야보다는 상보적인 시야가 더 유용함을 보였다.
• 공동 하한 기준(Co-lower-bound)은 표준 하한 기준보다 분할 성능에서 뛰어나, 부분적 협업이라도 단일 에이전트 운영보다 인식 성능 향상을 보임을 시사한다.
• 포즈 노이즈(0.05–0.25m) 및 대역폭 압축(1×1 오토인코더를 통한) 상황에서도 모델의 성능은 안정적이거나 다소 향상되었으며, 복원력이 뛰어나다.
• V2V 및 V2I를 동시에 활용할 경우, 특히 가림 또는 먼 거리에 있는 객체에 대해 분할 및 감지 성능에서 일관된 향상이 관찰되었다.