[논문 리뷰] RADIATE: A Radar Dataset for Automotive Perception.

Marcel Sheeny, Emanuele De Pellegrin외 4명|arXiv (Cornell University)|2020. 10. 18.

Advanced Neural Network Applications참고 문헌 20인용 수 38

한 줄 요약

RADIATE는 다양한 기상 조건(안개, 눈, 비 등)과 주행 시나리오(도심, 고속도로, 근교 주거지)에서 고해상도 레이더 이미지를 촬영한 대규모 공개 레이더 데이터셋입니다. 8개 카테고리에 걸쳐 20만 건 이상의 레이더 객체가 레이블링되어 있어, 특히 카메라와 LiDAR가 실패하는 악조건에서의 레이더 기반 객체 검출, 추적, 장면 이해 연구에 유용합니다.

ABSTRACT

Datasets for autonomous cars are essential for the development and benchmarking of perception systems. However, most existing datasets are captured with camera and LiDAR sensors in good weather conditions. In this paper, we present the RAdar Dataset In Adverse weaThEr (RADIATE), aiming to facilitate research on object detection, tracking and scene understanding using radar sensing for safe autonomous driving. RADIATE includes 3 hours of annotated radar images with more than 200K labelled road actors in total, on average about 4.6 instances per radar image. It covers 8 different categories of actors in a variety of weather conditions (e.g., sun, night, rain, fog and snow) and driving scenarios (e.g., parked, urban, motorway and suburban), representing different levels of challenge. To the best of our knowledge, this is the first public radar dataset which provides high-resolution radar images on public roads with a large amount of road actors labelled. The data collected in adverse weather, e.g., fog and snowfall, is unique. Some baseline results of radar based object detection and recognition are given to show that the use of radar data is promising for automotive applications in bad weather, where vision and LiDAR can fail. RADIATE also has stereo images, 32-channel LiDAR and GPS data, directed at other applications such as sensor fusion, localisation and mapping. The public dataset can be accessed at this http URL.

연구 동기 및 목표

• 자율주행을 위한 대규모 공개 레이더 데이터셋, 특히 악조건 기상 조건에서의 부족을 보완하기 위해.
• 객체 검출 및 추적 연구를 지원하기 위해 고해상도 레이더 이미지와 고밀도 정확한 레이더 객체 레이블링을 제공하기 위해.
• 안개, 눈, 야간과 같이 시각 및 LiDAR 센서 성능이 저하되는 도전적인 환경에서의 레이더 인식 연구를 가능하게 하기 위해.
• 동기화된 스테레오 이미지, 32채널 레이저 라이다, GPS 데이터를 포함하여 센서 융합, 정렬, 지ap핑 연구를 지원하기 위해.

제안 방법

• 다양한 기상 조건과 주행 시나리오에서 공도에서 고해상도 4D 이미징 레이더 센서를 사용해 레이더 데이터를 수집하기 위해.
• 각 레이더 이미지에 8개 카테고리(예: 차량, 보행자, 자전거 기사)의 20만 건 이상의 도로 객체를 경계상자로 레이블링하기 위해.
• 다중 모odal 인식 및 센서 융합 연구를 지원하기 위해 동기화된 스테레오 이미지, 32채널 레이저 라이다, GPS/IMU 데이터를 기록하기 위해.
• 낮/밤 조명, 강수량(비, 눈), 대기 조건(안개)의 변화를 고려해 데이터 다양성을 확보하기 위해.
• 레이더 기반 자동차 인식 연구의 벤치마킹과 재현 가능성을 보장하기 위해 데이터셋을 공개하기 위해.

실험 결과

연구 질문

• RQ1 카메라와 LiDAR가 실패하는 악조건 기상 조건(예: 안개, 눈)에서 레이더 기반 인식 시스템이 안정적인 성능을 발휘할 수 있는가?
• RQ2 실제 주행 시나리오에서 다양한 기상 및 조도 조건에서 레이더 데이터의 품질과 탐지 가능성은 어떻게 변하는가?
• RQ3 복잡한 도심 및 근교 주거지 환경에서 레이더 데이터만으로도 자율주행 차량의 정확한 객체 검출 및 추적을 지원할 수 있는가?
• RQ4 스테레오 비전 및 레이저 라이다와 융합했을 때, 레이더 데이터의 장면 이해 및 정렬에 얼마나 효과적인가?

주요 결과

• RADIATE는 다양한 악조건 기상 조건에서 고해상도 레이더 이미지와 고밀도 레이블링을 제공하는 최초의 공개 레이더 데이터셋입니다.
• 8개 객체 카테고리에 걸쳐 20만 건 이상의 레이블링 인스턴스가 포함되어 있으며, 평균 이미지당 4.6개의 인스턴스를 포함해 레이더 인식 성능에 대한 세밀한 분석이 가능합니다.
• 기본 성능 결과는 레이더 기반 객체 검출이 악조건에서 기존 센서(카메라, LiDAR)가 심하게 성능 저하되는 상황에서도 실현 가능하고 유망한 가능성을 보여줍니다.
• 스테레오 이미지, 32채널 레이저 라이다, GPS 데이터의 통합은 단독 레이더 인식을 넘어서 센서 융합, 정렬, 지도 제작 분야의 고급 연구를 가능하게 합니다.