[논문 리뷰] aiMotive Dataset: A Multimodal Dataset for Robust Autonomous Driving with Long-Range Perception

Tamás Matuszka, Iván Barton외 12명|arXiv (Cornell University)|2022. 11. 17.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 자동주행을 위한 다중모달 자율주행 데이터셋인 aiMotive Dataset을 소개한다. 이 데이터셋은 동기화된 라이다, 카메라, 레이더 센서를 포함하며, 주행도로, 도심, 근교 환경에서 일광, 야간, 비 오는 조건을 포함해 360° 시야를 커버한다. 3D 객체 인식 범위를 최대 200미터까지 연장하여 장거리 인식 능력을 향상시키며, 라이다, 레이더, 카메라의 다중모달 융합 기반 모델이 어려운 조건(야간, 비 오는 날씨 등)에서 검출 성능을 향상시킴을 보여준다.

ABSTRACT

Autonomous driving is a popular research area within the computer vision research community. Since autonomous vehicles are highly safety-critical, ensuring robustness is essential for real-world deployment. While several public multimodal datasets are accessible, they mainly comprise two sensor modalities (camera, LiDAR) which are not well suited for adverse weather. In addition, they lack far-range annotations, making it harder to train neural networks that are the base of a highway assistant function of an autonomous vehicle. Therefore, we introduce a multimodal dataset for robust autonomous driving with long-range perception. The dataset consists of 176 scenes with synchronized and calibrated LiDAR, camera, and radar sensors covering a 360-degree field of view. The collected data was captured in highway, urban, and suburban areas during daytime, night, and rain and is annotated with 3D bounding boxes with consistent identifiers across frames. Furthermore, we trained unimodal and multimodal baseline models for 3D object detection. Data are available at \url{https://github.com/aimotive/aimotive_dataset}.

연구 동기 및 목표

• 자율주행을 위한 공개된 다중모달 데이터셋 중 장거리 3D 객체 인식 레이블이 포함된 자료의 부족을 해결한다.
• 기존 데이터셋이 레이더 센서를 포함하지 않으며, 일반적으로 100m 이내의 짧은 인식 범위를 가지는 한계를 극복한다. 특히 악천후 및 장거리 고속도로 주행 상황에서의 한계를 해결한다.
• 일관된 3D 경계상자 레이블을 프레임 간에 유지함으로써 장거리 3D 객체 검출을 위한 다중모달 센서 융합 연구를 가능하게 한다.
• 다양한 환경 조건에서의 3D 객체 검출 및 추적을 위한 단일모달 및 다중모달 모델의 개발 및 벤치마킹을 지원한다.
• 자율주행 차량의 고속도로 보조 기능에 필수적인 장거리 인식 시스템에 대한 연구를 촉진한다.

제안 방법

• 라이다, 카메라, 레이더 센서를 동기화하고 校정한 176개의 시나리오를 수집하여 360° 시야를 커버한다.
• 다양한 조건에서 데이터를 촬영: 고속도로, 도심, 근교 환경; 일광, 야간, 비 오는 날씨.
• 모든 시나리오에 대해 일관된 객체 식별자를 사용해 프레임 간 추적 및 검출 작업을 위한 3D 경계상자 레이블을 부여한다.
• 레이블 범위를 차량 중심에서 최대 200미터까지 연장하여 대부분의 기존 데이터셋보다 크게 향상시켰다.
• 3D 객체 검출을 위한 단일모달(라이다 전용, 카메라 전용) 및 다중모달(라이다 + 카메라 + 레이더) 기반 모델을 훈련 및 평가하였다.
• 표준 평가 지표인 AP(평균 정밀도), AP-R40, 분류 정확도를 사용해 다양한 거리 범위 및 조건에서의 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 라이다, 카메라, 레이더의 다중모달 융합이 장거리 인식 시나리오에서 3D 객체 검출 성능에 어떤 영향을 미치는가?
• RQ2 비 오는 날씨나 어두운 조건(예: 야간)에서 레이더 데이터를 통합할 경우, 라이다 전용 또는 카메라 전용 모델 대비 성능 향상은 얼마나 되는가?
• RQ3 다양한 환경 조건(고속도로, 도심, 야간, 비 오는 날씨)과 거리 범위(0–60m, 60–120m, 120–200m)에서 검출 성능는 어떻게 달라지는가?
• RQ4 카메라 전용 모델은 장거리 인식에서 신뢰할 수 있는 성능를 달성할 수 있는가? 그리고 라이다 기반 기준 모델과 비교해 보면 어떠한가?
• RQ5 센서의 중복성과 다중모달 융합이 실제 자율주행 환경에서의 강인성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 다중모달 기반 모델(LiDAR, 레이더, 카메라)은 [60–120]m 범위에서 최고의 AP-R40 점수 0.656을 기록하여, 라이다 전용(0.624) 및 라이다 + 카메라(0.618) 기반 모델을 앞서나갔다.
• [120–200]m 범위에서는 라이다 + 레이더 + 카메라 융합 모델이 AP-R40 0.178을 기록하여, 라이다 전용 모델(0.237)을 크게 앞서며 먼 거리 영역에서 가장 강인한 성능을 보였다.
• 레이더 통합은 야간(AP-R40: 0.692 vs. 0.657, 라이다 전용) 및 비 오는 날씨(0.389 vs. 0.302)에서 검출 성능을 향상시켜 레이더의 악조건에서의 가치를 입증했다.
• 카메라 전용 모델은 전반적으로 성능이 열악했으며, 근거리(<30m)에서 AP-R40가 0.406에 불과했고, 먼 거리에서는 0.10 이하에 머물러 장거리 인식에 대한 신뢰성 부족을 보였다.
• 다중모달 융합은 모든 거리 및 조건에서 일관된 성능 향상을 가져왔으며, 특히 도심 및 야간 세트에서 센서의 중복성 중요성을 입증했다.
• 라이다 + 레이더 + 카메라 모델은 [60–120]m 범위에서 가장 높은 분류 정확도(0.790)와 AOS(0.874)를 기록하여 검출 품질과 신뢰도 향상을 입증했다.