[논문 리뷰] OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication

Runsheng Xu, Xiang Hao외 4명|arXiv (Cornell University)|2021. 09. 16.

Autonomous Vehicle Technology and Safety인용 수 13

한 줄 요약

이 논문은 LiDAR와 협업 통신을 사용한 차량 간(V2V) 인식을 위한 최초의 대규모 개방형 벤치마크 데이터셋 및 융합 파이프라인인 OPV2V를 소개한다. 다수의 연결된 차량에서 유도된 특징을 주목사용 메커니즘을 활용해 융합하는 Attentive Intermediate Fusion 방법을 제안하여, 4096× 압축 비율에서도 상태최저 수준의 3D 객체 탐지 성능을 달성함으로써 대역폭을 크게 줄이면서도 높은 정확도를 유지한다.

ABSTRACT

Employing Vehicle-to-Vehicle communication to enhance perception performance in self-driving technology has attracted considerable attention recently; however, the absence of a suitable open dataset for benchmarking algorithms has made it difficult to develop and assess cooperative perception technologies. To this end, we present the first large-scale open simulated dataset for Vehicle-to-Vehicle perception. It contains over 70 interesting scenes, 11,464 frames, and 232,913 annotated 3D vehicle bounding boxes, collected from 8 towns in CARLA and a digital town of Culver City, Los Angeles. We then construct a comprehensive benchmark with a total of 16 implemented models to evaluate several information fusion strategies~(i.e. early, late, and intermediate fusion) with state-of-the-art LiDAR detection algorithms. Moreover, we propose a new Attentive Intermediate Fusion pipeline to aggregate information from multiple connected vehicles. Our experiments show that the proposed pipeline can be easily integrated with existing 3D LiDAR detectors and achieve outstanding performance even with large compression rates. To encourage more researchers to investigate Vehicle-to-Vehicle perception, we will release the dataset, benchmark methods, and all related codes in https://mobility-lab.seas.ucla.edu/opv2v/.

연구 동기 및 목표

• V2V 인식 알고리즘을 평가하기 위한 대규모 공개 데이터셋의 부족 문제를 해결하기 위해.
• 표준화된 벤치마크를 통해 다중 차량 융합 전략—초기, 후기, 중간 융합—의 체계적 평가를 가능하게 하기 위해.
• 대역폭 제약 조건 하에서도 탐지 정확도를 향상시키는 새로운 Attentive Intermediate Fusion 파이프라인의 개발 및 검증을 위해.
• 연구를 가속화하기 위해 종합적인 데이터셋, 벤치마크 코드, 모델을 공개하기 위해.

제안 방법

• 저자들은 CARLA와 캘버 시티의 디지털 트윈을 사용하여 대규모 시뮬레이션 데이터셋을 구축하였으며, 이는 73개의 시나리오, 11,464帧, 232,913개의 3D 차량 애너테이션을 포함한다.
• 최신 3D LiDAR 탐지기(예: VoxelNet, PIXOR)를 다양한 융합 전략(초기, 후기, 중간 융합)과 조합한 총 16개의 모델을 구현하였다.
• 제안된 Attentive Intermediate Fusion 파이프라인은 다수의 연결된 차량에서 유도된 중간 단계 특징을 동적으로 가중하고 융합하기 위해 자기 주목사용 메커니즘을 사용한다.
• 특징 맵을 압축하기 위해 학습 가능한 인코더-디코더 아키텍처를 사용하여, 최대 4096×의 압축 비율을 달성하면서도 정확도 손실를 최소화한다.
• 벤치마크는 IoU 임계치가 0.5와 0.7일 때의 AP를 사용하여 성능을 평가하며, CARLA 도시와 캘버 시티를 별도의 테스트 분할로 설정하여 도메인 이동 영향을 평가한다.
• 모든 모델은 4× RTX 3090 GPU를 사용하여 Adam 옵timizer로 학습하고 조기 정지 기법을 적용하며, 전체 코드베이스는 공개적으로 배포된다.

(a)

실험 결과

연구 질문

• RQ1 실제로 발생하는 가림 조건 하에서, 다양한 융합 전략(초기, 후기, 중간)에 따른 V2V 인식 성능는 어떻게 달라지는가?
• RQ2 특히 고압축 조건에서, 주목사용 메커니즘을 활용한 중간 융합은 초기 및 후기 융합 대비 탐지 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 심한 가림이 발생하는 복잡한 도심 교차로에서 연결된 차량(CAVs)의 수는 탐지 성능에 어떤 영향을 미치는가?
• RQ4 V2V 통신에서 데이터 압축 비율과 탐지 정확도 사이의 상충 관계는 어떠한가? 그리고 경량 파이프라인은 극한의 압축 조건에서도 높은 성능을 유지할 수 있는가?
• RQ5 합성 CARLA 환경와 실제 도시를 모델링한 디지털 도시(캘버 시티) 사이의 도메인 이동은 모델 일반화 능력과 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 Attentive Intermediate Fusion 파이프라인을 사용한 중간 융합은 모든 테스트 모델에서 IoU=0.7일 때 평균 정밀도(AP)가 가장 높게 나타나, 초기 및 후기 융합 전략을 모두 압도한다.
• Attentive Intermediate Fusion 방법은 4096× 압축 비율에서도 상태최저 수준에 가까운 성능을 유지하며, AP가 3% 감소하는 것으로 나타나, 동일 조건에서 초기 및 후기 융합보다 뚜렷이 뛰어난 성능을 보였다.
• 네 대의 CAV를 추가하는 것만으로도 탐지 성능 향상이 뚜렷하게 나타나며, 네 대를 초과하면 빛가림 영역의 충분한 시야 확보로 인해 수익 감소 효과가 나타난다.
• 실제 도시를 모델링한 캘버 시티 데이터셋에서의 성능는 CARLA 도시에서의 성능보다 일반적으로 낮게 나타나, 더 현실적인 교통 패턴과 심한 가림으로 인한 도메인 갭이 존재함을 시사한다.
• 모든 융합 방법은 두 테스트 세트 모두에서 비융합 기반 모델 대비 IoU=0.7일 때 최소 10% 이상의 AP 향상을 보였으며, 협업 인식의 일관된 이점을 입증하였다.
• 벤치마크는 중간 융합, 특히 주목사용 기반 융합이 에이전트 간 상관관계를 효과적으로 포착하여, 가려진 차량 및 소형 차량의 탐지 성능 향상에 기여함을 보여주었다.

(b)