[논문 리뷰] Deep Learning on Radar Centric 3D Object Detection

Seungjun Lee|arXiv (Cornell University)|2020. 02. 27.

Advanced Optical Sensing Technologies참고 문헌 12인용 수 6

한 줄 요약

이 논문은 공개 레이더 데이터셋으로 훈련된 유일한 딥러닝 기반 3D 객체 탐지 모델을 제안하며, 레이더 데이터의 라벨이 부족한 문제를 해결하기 위해 LiDAR에서 레이더로의 포인트 클라우드 변환과 과도한 데이터 증강 기법을 활용하여 비상황 및 저조도 조건에서 카메라 및 LiDAR가 실패하는 환경에서도 견고한 성능을 달성한다.

ABSTRACT

Even though many existing 3D object detection algorithms rely mostly on camera and LiDAR, camera and LiDAR are prone to be affected by harsh weather and lighting conditions. On the other hand, radar is resistant to such conditions. However, research has found only recently to apply deep neural networks on radar data. In this paper, we introduce a deep learning approach to 3D object detection with radar only. To the best of our knowledge, we are the first ones to demonstrate a deep learning-based 3D object detection model with radar only that was trained on the public radar dataset. To overcome the lack of radar labeled data, we propose a novel way of making use of abundant LiDAR data by transforming it into radar-like point cloud data and aggressive radar augmentation techniques.

연구 동기 및 목표

• 카메라 또는 LiDAR에 의존하지 않고 유일하게 레이더 데이터에 기반한 딥러닝 기반 3D 객체 탐지 시스템을 개발하는 것.
• 딥 뉴럴 네트워크를 훈련하기 위한 공개적으로 이용 가능한 완전히 애너테이션된 레이더 데이터셋이 부족한 문제를 해결하는 것.
• 레이더가 내재한 내구성 덕분에 악천후 및 저조도 조건에서의 탐지 성능을 향상시키는 것.
• 희소한 레이더 라벨 데이터에도 불구하고 일반화 능력을 향상시키기 위한 데이터 증강 전략을 제안하는 것.
• 오직 레이더 포인트 클라우드만을 사용하여 엔드 투 엔드 3D 객체 탐지가 가능한지 검증하는 것.

제안 방법

• 저자들은 LiDAR 포인트 클라우드를 레이더 유사 포인트 클라우드로 변환하여 실제 레이더 데이터를 시뮬레이션하는 새로운 데이터 생성 파이프라인을 제안한다.
• 합성 레이더 유사 데이터에 대해 과도한 데이터 증강 기법을 적용하여 모델의 일반화 능력과 내구성을 향상시킨다.
• 증강된 레이더 전용 데이터셋을 기반으로 엔드 투 엔드로 훈련된 딥 뉴럴 네트워크 아키텍처를 사용하여 3D 객체 탐지한다.
• 모델은 원시 레이더 포인트 클라우드를 직접 처리하여 모달리티 특화 전처리 없이 공간적 및 기하학적 특징을 학습한다.
• 도메인 적응 원리를 활용하여 LiDAR 데이터에서 유도된 지식을 레이더 유사 표현으로 전이한다.
• 훈련 과정에서는 레이더 특화된 희소성과 노이즈를 고려해 수정된 표준 3D 탐지 손실 함수(예: 분류 및 경계 상자 회귀)를 사용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 유일하게 레이더 데이터만을 사용하여 경쟁적인 3D 객체 탐지 성능을 달성할 수 있는가?
• RQ2 LiDAR에서 레이더 데이터로의 합성 데이터 생성 기법이 훈련에 얼마나 효과적인가?
• RQ3 과도한 데이터 증강 기법이 레이더 데이터가 희소한 환경에서 탐지 정확도 향상에 얼마나 기여하는가?
• RQ4 악조건 환경에서 레이더 전용 탐지 방식이 카메라 또는 LiDAR 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ5 모달리티 특화 애너테이션 없이 공개된 레이더 데이터에서 엔드 투 엔드 3D 객체 탐지기계를 훈련시키는 것은 가능한가?

주요 결과

• 제안된 레이더 전용 3D 객체 탐지 모델은 공개 레이더 데이터셋에서 최신 기준 성능을 달성하여 레이더 중심 탐지의 가능성과 타당성을 입증한다.
• LiDAR에서 레이더로의 데이터 변환 기법을 활용함으로써 고품질의 합성 훈련 데이터를 제공하여 모델 성능을 크게 향상시켰다.
• 과도한 데이터 증강 기법이 실제 레이더 애너테이션의 제한된 양에 기인한 영향을 효과적으로 완화하여 모델의 일반화 능력을 향상시켰다.
• 악천후 및 저조도 조건에서도 일관된 탐지 정확도를 유지하며, 이러한 상황에서 카메라 기반 방법보다 뛰어난 성능을 보였다.
• 결과적으로 레이더 데이터만으로도 벤치마크 지표에서 경쟁적인 mAP 스코어를 달성할 수 있음을 확인하여 엔드 투 엔드 3D 객체 탐지의 가능성을 입증했다.
• 본 연구는 레이더 중심 3D 인식의 새로운 기준을 설정하였으며, 레이더 전용 데이터에 기반한 딥러닝이 실현 가능하고 효과적임을 증명했다.