[논문 리뷰] CARRADA Dataset: Camera and Automotive Radar with Range-Angle-Doppler Annotations

Arthur Ouaknine, Alasdair Newson외 3명|arXiv (Cornell University)|2020. 05. 04.

Advanced Optical Sensing Technologies참고 문헌 41인용 수 10

한 줄 요약

이 논문은 자율주행 연구를 위한 물체 검출, 의미 분할, 추적에 적합한 고해상도 거리-각도-도플러(annotation)을 갖춘 동기화된 카메라 및 자동차 레이더 데이터셋인 CARRADA를 소개한다. 카메라 데이터를 활용한 반자동(annotation) 파이프라인을 제시하고, 레이더 표현에 대해 딥러닝 베이스라인을 평가하여, 특히 거리-도플러 공간에서 조밀한 마스크와 흩어진 점 모두에서 유망한 성능을 달성한다.

ABSTRACT

High quality perception is essential for autonomous driving (AD) systems. To reach the accuracy and robustness that are required by such systems, several types of sensors must be combined. Currently, mostly cameras and laser scanners (lidar) are deployed to build a representation of the world around the vehicle. While radar sensors have been used for a long time in the automotive industry, they are still under-used for AD despite their appealing characteristics (notably, their ability to measure the relative speed of obstacles and to operate even in adverse weather conditions). To a large extent, this situation is due to the relative lack of automotive datasets with real radar signals that are both raw and annotated. In this work, we introduce CARRADA, a dataset of synchronized camera and radar recordings with range-angle-Doppler annotations. We also present a semi-automatic annotation approach, which was used to annotate the dataset, and a radar semantic segmentation baseline, which we evaluate on several metrics. Both our code and dataset are available online.

연구 동기 및 목표

• 자율주행을 위한 정확한 annotation이 제공되는 공개적으로 이용 가능한 고품질 레이더 데이터셋의 부족을 해결하기 위해.
• LiDAR 기반 annotation에 비해 비용과 시간을 줄일 수 있는 카메라 데이터를 활용한 반자동 annotation 방법을 개발하기 위해.
• 원시 레이더 신호를 사용한 물체 검출, 의미 분할, 추적과 같은 레이더 기반 인식 작업을 위한 벤치마크를 제공하기 위해.
• 포괄적인 공개 데이터셋과 소스 코드를 공개하여 레이더 데이터에 대한 딥러닝 및 다중 센서 융합 연구를 촉진하기 위해.
• 조밀한 및 흩어진 annotation을 사용하여 원시 레이더 표현에 직접 의미 분할 모델을 훈련시킬 수 있음을 입증하기 위해.

제안 방법

• 차량에 장착된 설정을 사용하여 전방 카메라와 77GHz 자동차 레이더 센서를 이용해 데이터를 수집하였다.
• 동기화된 영상 및 원시 레이더 데이터를 기록하였으며, 레이더 신호는 거리-각도 및 거리-도플러 표현으로 처리되었다.
• 카메라 기반 물체 검출 및 물리적 제약 조건(예: 속도, 크기)을 활용하여 물체 위치를 레이더 공간으로 투영하는 반자동 annotation 파이프라인을 개발하였다.
• 보행자, 차량, 자전거 등에 대해 흩어진 점, 바운딩 박스, 조밀한 마스크를 포함한 annotation이 제공되며, 추적을 위해 각각 고유 ID가 부여되었다.
• PyTorch를 사용하여 단일 GPU에서 조밀한 마스크 annotation을 기반으로 의미 분할 아키텍처 기반 딥러닝 베이스라인을 훈련시켰다.
• 평가 지표로는 IoU, 픽셀 정밀도, 픽셀 재현율을 사용하였으며, 일관성을 확보하기 위해 세 개의 랜덤 시드 평균을 취하였다.

실험 결과

연구 질문

• RQ1 카메라 데이터 기반 반자동 annotation 파이프라인은 LiDAR나 수동 레이블 없이도 정확하고 신뢰할 수 있는 레이더 annotation을 생성할 수 있는가?
• RQ2 딥 네트워크는 흩어진 또는 조밀한 annotation만을 사용하여 원시 레이더 표현에서 물체를 얼마나 잘 분할할 수 있는가?
• RQ3 의미 분할 작업에서 거리-도플러 표현과 거리-각도 표현 간의 성능 격차는 어느 정도인가?
• RQ4 다른 annotation 유형(조밀한 마스크 대비 흩어진 점)은 모델 평가 및 정렬 정확도에 어떤 영향을 미치는가?
• RQ5 레이더 신호의 시간적 동역학을 얼마나 잘 활용하여 레이더 데이터의 물체 검출 및 추적 성능을 향상시킬 수 있는가?

주요 결과

• 반자동 annotation 파이프라인은 카메라 데이터와 물리적 제약 조건만을 활용하여 정밀한 레이더 annotation을 성공적으로 생성하였으며, annotation 비용과 시간을 크게 감소시켰다.
• 딥러닝 베이스라인은 조밀한 마스크 annotation에서 뛰어난 성능을 보였으며, 거리-도플러 표현에서 평균 IoU는 0.63, 평균 픽셀 정밀도는 0.72를 기록하였다.
• 흩어진 점 annotation에서의 성능이 조밀한 마스크보다 높아, 핵심 물체 점의 정렬 정확도가 더 뛰어나다는 것을 시사하였다.
• 거리-도플러 표현이 거리-각도 표현보다 성능이 뛰어난 이유는 레이더 센서 출력에서 더 높은 각도 해상도를 제공하기 때문이다.
• 시간 정보를 사용하지 않았음에도 불구하고 모델이 유망한 성능을 보였으며, 이는 향후 순서 모델링 통합의 강력한 잠재력을 시사한다.
• 배경 카테고리는 annotation이 불완전하여 흩어진 점에 대해 평가할 수 없었으며, 이는 해당 유형의 평가 범위를 제한하였다.