[논문 리뷰] TUMTraf V2X Cooperative Perception Dataset

Walter Zimmer, Gerhard Arya Wardana외 4명|arXiv (Cornell University)|2024. 03. 02.

Brain Tumor Detection and Classification인용 수 4

한 줄 요약

이 논문은 독일의 실도로 교차로에서 수집한 5개의 도로변 센서와 4개의 차량 내장 센서를 활용해 2,000개의 레이블링된 포인트 클라우드와 5,000장의 이미지를 포함한 대규모 V2X 공동 인식 데이터셋인 TUMTraf-V2X를 소개한다. 이 데이터셋은 근접 충돌 및 U턴과 같은 어려운 상황에서 30,000개의 3D 경계상자와 트랙 ID를 포함한다. 또한 차량 전용 인식보다 +14.36의 3D mAP 향상을 달성하는 다중 모odal 카메라-LiDAR 융합 모델인 CoopDet3D를 제안하며, 공개용으로 데이터셋, 어노테이션 툴, 개발 키트, 코드를 제공한다.

ABSTRACT

Cooperative perception offers several benefits for enhancing the capabilities of autonomous vehicles and improving road safety. Using roadside sensors in addition to onboard sensors increases reliability and extends the sensor range. External sensors offer higher situational awareness for automated vehicles and prevent occlusions. We propose CoopDet3D, a cooperative multi-modal fusion model, and TUMTraf-V2X, a perception dataset, for the cooperative 3D object detection and tracking task. Our dataset contains 2,000 labeled point clouds and 5,000 labeled images from five roadside and four onboard sensors. It includes 30k 3D boxes with track IDs and precise GPS and IMU data. We labeled eight categories and covered occlusion scenarios with challenging driving maneuvers, like traffic violations, near-miss events, overtaking, and U-turns. Through multiple experiments, we show that our CoopDet3D camera-LiDAR fusion model achieves an increase of +14.36 3D mAP compared to a vehicle camera-LiDAR fusion model. Finally, we make our dataset, model, labeling tool, and dev-kit publicly available on our website: https://tum-traffic-dataset.github.io/tumtraf-v2x.

연구 동기 및 목표

• 도로변 및 차량 센서를 활용한 공동 3D 객체 검출 및 추적을 지원하는 고품질 실생활 V2X 인식 데이터셋의 부족을 해결하기 위해.
• 도로변 및 차량 센서 데이터 융합을 통해 자율주행의 상황 인식 능력을 향상시키고, 가림 현상을 줄이기 위해.
• 단일 시야 인식 시스템을 능가하는 견고한 다중 모달 공동 검출 모델을 개발하기 위해.
• OpenLABEL 형식으로 표준화된 데이터셋, 어노테이션 툴, 개발 키트를 공개하여 재현 가능한 연구를 가능하게 하기 위해.
• 야간 풍경과 교통 위반과 같은 다양한 교통 조건을 포함한 데이터를 제공하여 향후 공동 인식 연구를 지원하기 위해.

제안 방법

• 데이터셋은 독일의 실도로 교차로에서 5개의 도로변 센서와 4개의 차량 내장 센서(라이adar, 카메라, GPS, IMU 포함)를 활용해 수집되었다.
• 2,000개의 포인트 클라우드와 5,000장의 이미지에 대해 8개의 객체 카테고리에 대해 트랙 ID가 부여된 3D 경계상자를 어노테이션 처리하여 총 30,000개의 인스턴스를 커버한다.
• 다중 모달 V2X 데이터를 레이블링하기 위해 고유한 3D 경계상자 어노테이션 툴(3D BAT v24.3.2)을 개발하였다.
• CoopDet3D는 세 단계 융합 모델이다: (1) BEV 특징 추출을 통한 도로변 카메라-LiDAR 융합, (2) 컨볼루션 퓨저를 활용한 차량 카메라-LiDAR 융합, (3) 차량 및 인프라 특징의 최대 풀링을 통한 융합.
• 최종 3D 경계상자 예측을 생성하기 위해 TransFusion 3D 검출 헤드를 사용한다.
• OpenLABEL 형식에서 어노테이션 로드, 시각화, 변환 및 평가를 지원하는 개발 키트를 제공하여 기존 도구와의 원활한 통합을 가능하게 한다.

Figure 1 : Our CoopDet3D framework is a multi-modal cooperative fusion system, comprising three distinct fusion pipelines. 1) The roadside camera-LiDAR fusion pipeline fuses three camera images and one LiDAR point cloud by extracting features and transforming them into a BEV representation. 2) The v

실험 결과

연구 질문

• RQ1 도로변 및 차량 센서를 활용한 공동 인식은 차량 전용 인식 대비 3D 객체 검출 성능을 얼마나 향상시키는가?
• RQ2 도로변 및 차량 시점에서 카메라와 LiDAR의 다중 모달 융합이 검출 정확도에 미치는 영향은 무엇인가?
• RQ3 CoopDet3D 모델은 가림 현상과 근접 충돌 사건을 포함한 다양한 교통 상황에서 얼마나 잘 일반화되는가?
• RQ4 표준화된 오픈소스 데이터셋과 툴체인은 공동 V2X 인식 분야에서 재현 가능하고 확장 가능한 연구를 가능하게 하는가?
• RQ5 현재의 공동 인식 모델은 센서 비동기성과 실시간 배포 제약 조건을 다룰 때 어떤 한계를 지니는가?

주요 결과

• CoopDet3D는 차량 전용 카메라-LiDAR 융합 모델 대비 +14.36의 3D mAP 향상을 달성하여 인프라 기반 인식의 이점을 입증한다.
• 낮과 밤 모두에서 단일 시야 기반 베이스라인을 능가하며, 교통 위반과 강한 가림 현상 등 도전적인 상황에서도 뛰어난 성능을 보인다.
• 크로스 모odal 트랜스포머 기반의 CoopCMT 모델은 CoopDet3D보다 높은 mAP 성능을 달성하지만, 더 높은 모델 복잡도로 인해 추론 지연 시간이 증가한다.
• 데이터셋은 2,000개의 포인트 클라우드와 5,000장의 이미지, 총 30,380개의 3D 경계상자를 포함하며, 8개의 객체 클래스와 10가지의 다양한 교통 동작을 커버한다.
• 개발 키트는 OpenLABEL 표준 형식에서 레이블 변환, 시각화, 평가를 포함한 완전한 파이프라인 지원을 가능하게 한다.
• 실패 케이스는 혹독한 날씨 조건과 센서 비동기성에서 발생하는 과제를 드러내며, 향후 연구에서 내성적이고 실시간 동기화 기술의 개선이 필요함을 시사한다.

Figure 2 : Demonstration of a possible V2X occlusion scenario. A pedestrian (blue) is crossing the road in front of the ego vehicle. An occluded bicycle is marked in red. The recording vehicle with the sensor setup is shown in the bottom left corner.