Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] DAIR-V2X: A Large-Scale Dataset for Vehicle-Infrastructure Cooperative 3D Object Detection

Haibao Yu, Yizhen Luo|arXiv (Cornell University)|2022. 04. 12.
Advanced Neural Network Applications인용 수 13
한 줄 요약

이 논문은 도시 및 고속도로 환경에서 71,254개의 동기화된 라이다 및 카메라 프레임을 포함하는, 차량-인프라 협업 3차원 객체 탐지(VIC3D)를 위한 첫 번째 대규모 실세계 데이터셋인 DAIR-V2X를 소개한다. 이는 시간 보정 후기 융합(TCLF) 프레임워크를 제안하여 단일 뷰 방법 대비 평균 15% 향상된 정확도를 달성하면서도 시간적 이질성 문제를 완화하고 데이터 전송 비용을 절감한다.

ABSTRACT

Autonomous driving faces great safety challenges for a lack of global perspective and the limitation of long-range perception capabilities. It has been widely agreed that vehicle-infrastructure cooperation is required to achieve Level 5 autonomy. However, there is still NO dataset from real scenarios available for computer vision researchers to work on vehicle-infrastructure cooperation-related problems. To accelerate computer vision research and innovation for Vehicle-Infrastructure Cooperative Autonomous Driving (VICAD), we release DAIR-V2X Dataset, which is the first large-scale, multi-modality, multi-view dataset from real scenarios for VICAD. DAIR-V2X comprises 71254 LiDAR frames and 71254 Camera frames, and all frames are captured from real scenes with 3D annotations. The Vehicle-Infrastructure Cooperative 3D Object Detection problem (VIC3D) is introduced, formulating the problem of collaboratively locating and identifying 3D objects using sensory inputs from both vehicle and infrastructure. In addition to solving traditional 3D object detection problems, the solution of VIC3D needs to consider the temporal asynchrony problem between vehicle and infrastructure sensors and the data transmission cost between them. Furthermore, we propose Time Compensation Late Fusion (TCLF), a late fusion framework for the VIC3D task as a benchmark based on DAIR-V2X. Find data, code, and more up-to-date information at https://thudair.baai.ac.cn/index and https://github.com/AIR-THU/DAIR-V2X.

연구 동기 및 목표

  • 차량-인프라 협업 자율주행(VICAD) 연구를 위한 실세계 데이터셋 부족 문제를 해결한다.
  • 다중 뷰, 다중 모odal 데이터를 활용한 협업 인식을 가능하게 하기 위해 차량-인프라 협업 3차원 객체 탐지(VIC3D) 작업을 정의한다.
  • 차량 및 인프라 센서 간 시간적 이질성과 높은 데이터 전송 비용과 같은 VIC3D의 핵심 과제를 해결한다.
  • 실제 통신 제약 조건 하에서 융합 전략을 평가하고 비교할 수 있는 벤치마킹 프레임워크를 제공한다.
  • 실세계 데이터를 기반으로 협업 인식 시스템에서 성능-대역폭 트레이드오프에 대한 연구를 가능하게 한다.

제안 방법

  • 실제 교차로, 고속도로, 도심 주행로에서 3D 경계 상자 레이블이 부여된 71,254개의 동기화된 라이다 및 카메라 프레임을 수집한다.
  • 다양한 평가 시나리오를 위해 데이터셋을 세 가지 서브셋으로 구성한다: DAIR-V2X-C(협업), DAIR-V2X-V(차량 전용), DAIR-V2X-I(인프라 전용).
  • 차량 및 인프라 센서의 입력을 활용하는 협업 3차원 탐지 문제로 VIC3D 작업을 정의한다.
  • 시간 인식 특성 보정을 사용하여 시간적으로 이질적인 센서 데이터를 정렬하는 후기 융합 프레임워크인 시간 보정 후기 융합(TCLF)을 제안한다.
  • MMDetection3D를 사용하여 DAIR-V2X-V 및 DAIR-V2X-I에서 기준 모델을 구현하며, 단일 및 다중 모달 탐지에 대해 ImvoxelNet, PointPillars, SECOND, MVXNet를 활용한다.
  • PASCAL VOC 스타일의 지표를 사용하여 차량에 대해 0.5, 보행자 및 자전거 기사에 대해 0.25의 IoU 임계값을 설정한 Easy, Moderate, Hard 난이도 수준에서 성능을 평가한다.
Figure 1 : Datasets available for 3D Object Detection in autonomous driving. DAIR-V2X is the first real-world V2X dataset for VICAD.
Figure 1 : Datasets available for 3D Object Detection in autonomous driving. DAIR-V2X is the first real-world V2X dataset for VICAD.

실험 결과

연구 질문

  • RQ1인프라 측의 인식 데이터 통합이 단일 차량 인식 대비 3차원 객체 탐지 성능에 어떤 영향을 미치는가?
  • RQ2차량 및 인프라 센서 간 시간적 이질성이 탐지 정확도를 얼마나 떨어뜨리며, 이를 어떻게 완화할 수 있는가?
  • RQ3협업 3차원 탐지에서 초기 융합과 후기 융합 전략 간의 성능-대역폭 트레이드오프는 어떠한가?
  • RQ4완전한 포인트 클라우드 전송이 필요 없이도 후기 융합 프레임워크가 시간 지연을 효과적으로 보완할 수 있는가?
  • RQ5다양한 환경 조건과 객체 유형에서 다양한 융합 전략의 성능은 실세계 도심 환경에서 어떻게 나타나는가?

주요 결과

  • 단일 차량 탐지 대비 인프라 센서 데이터 통합으로 모든 객체 유형에서 평균 정밀도(AP)가 평균 15% 향상된다.
  • 후기 융합 방법은 단일 뷰 탐지기보다 10–20점 높은 AP를 달성하여 다중 뷰 협업의 이점을 입증한다.
  • 초기 융합은 BEV 및 3D 탐지 벤치마크에서 후기 융합 대비 최대 8% AP 높은 성능을 보였지만, 후기 융합 대비 데이터 전송량이 4,000배 많다.
  • 제안된 시간 보정 후기 융합(TCLF) 프레임워크는 특히 큰 시간 지연 상황에서도 시간적 이질성을 효과적으로 완화함을 정량적 결과 및 시각화로 입증했다.
  • DAIR-V2X-I(인프라 전용) 세트에서 MVXNet은 차량에 대해 71.04% AP(Easy), 보행자에 대해 55.83%(Easy), 자전거 기사에 대해 54.05%(Easy)를 기록하여 인프라 측 인식 성능이 뛰어나다는 것을 보여준다.
  • DAIR-V2X-V(차량 전용) 세트에서 MVXNet은 차량에 대해 69.86% AP(Easy), 보행자에 대해 47.73%(Easy), 자전거 기사에 대해 45.68%(Easy)를 기록하여 차량 측 센서에서 고정밀도 탐지가 가능하다는 것을 확인한다.
Figure 2 : a) Acquisition system with infrastructure sensors. b) Acquisition system with vehicle sensors. c) Infrastructure-view image and point cloud with 3d annotation. Paired vehicle-view and infrastructure-view information complement each other in the perspective of view. d) Vehicle-view image a
Figure 2 : a) Acquisition system with infrastructure sensors. b) Acquisition system with vehicle sensors. c) Infrastructure-view image and point cloud with 3d annotation. Paired vehicle-view and infrastructure-view information complement each other in the perspective of view. d) Vehicle-view image a

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.