[논문 리뷰] Beyond Point Clouds: A Knowledge-Aided High Resolution Imaging Radar Deep Detector for Autonomous Driving

Ruxin Zheng, Shunqiao Sun외 2명|arXiv (Cornell University)|2021. 11. 01.

Radar Systems and Signal Processing참고 문헌 18인용 수 5

한 줄 요약

이 논문은 12개의 송신 안테나와 16개의 수신 안테나를 활용해 큰 가상 어레이를 형성하는 다중 입력 다중 출력(MIMO) 신호 처리 체인과 단계적 시간분할 multiplexing(TDM) 기반의 지식 기반 고해상도 영상 레이더 시스템을 제안한다. 이는 자율주행을 위한 고해상도 범위-아즈임스 스펙트럼을 생성한다. 레이더 도메인 지식과 신호 구조를 활용하여, 2,000장의 레이더 프레임에서 Faster R-CNN ResNet-50 모델을 사용해 평균 정밀도 96.1%를 달성하였으며, 데이터셋 크기가 제한된 상황에서도 뛰어난 성능을 입증하였다.

ABSTRACT

The potentials of automotive radar for autonomous driving have not been fully exploited. We present a multi-input multi-output (MIMO) radar transmit and receive signal processing chain, a knowledge-aided approach exploiting the radar domain knowledge and signal structure, to generate high resolution radar range-azimuth spectra for object detection and classification using deep neural networks. To achieve waveform orthogonality among a large number of transmit antennas cascaded by four automotive radar transceivers, we propose a staggered time division multiplexing (TDM) scheme and velocity unfolding algorithm using both Chinese remainder theorem and overlapped array. Field experiments with multi-modal sensors were conducted at The University of Alabama. High resolution radar spectra were obtained and labeled using the camera and LiDAR recordings. Initial experiments show promising performance of object detection using an image-oriented deep neural network with an average precision of 96.1% at an intersection of union (IoU) of typically 0.5 on 2,000 radar frames.

연구 동기 및 목표

• 레벨 4/5 자율주행을 위한 기존 자동차 레이더 시스템의 낮은 각도 해상도 및 범위 해상도의 한계를 극복하기 위해.
• 임계값 설정이나 포인트 클라우드 변환으로 인한 정보 손실을 방지하면서도 레이더 데이터 무결성을 유지하는 신호 처리 체인을 개발하기 위해.
• 12개의 송신 안테나와 16개의 수신 안테나를 활용해 큰 가상 어레이를 형성하는 MIMO 레이더를 통해 고해상도 범위-아즈임스 스펙트럼을 생성하기 위해.
• 제한된 학습 데이터 조건에서도 고해상도 레이더 스펙트럼을 기반으로 딥 네트워크를 활용해 정확한 객체 탐지 및 분류를 수행하기 위해.
• 다중 모odal 센서 융합(카메라, LiDAR, 레이더)을 활용한 실세계 현장 실험을 통해 시스템 성능을 검증하기 위해.

제안 방법

• 4개의 연결된 TI 레이더 트랜시iever를 활용한 대규모 MIMO 레이더 시스템에서, 12개의 송신 안테나 간 웨이브폼 직교성을 확보하기 위해 단계적 시간분할 multiplexing(TDM) 기반의 신호 설계를 수행하였다.
• TDM 스케줄링 지연로 인한 모호한 도플러 속도를 해결하기 위해 중국의 나머지 정리와 겹치는 어레이 원리를 활용한 속도 전개 알고리즘을 적용하였다.
• TDM 전송 시의 시간 지연으로 인한 안테나 간 위상 이동을 보정하기 위해 위상 보정을 수행하여 각도 추정 정확도를 향상시켰다.
• 캘리브레이션 완료된 MIMO 신호 처리 체인을 통해 카르테시안 좌표계 기반 고해상도 범위-아즈임스 스펙트럼을 생성하였다.
• COCO 2017 데이터셋으로 미리 학습된 Faster R-CNN ResNet-50 모델을 레이더 스펙트럼 데이터에 대해 미세조정하였으며, 입력 이미지의 크기를 640×640으로 스케일링하였다.
• 1회성 축합 보정을 위해 5m 거리에 모서리 반사체를 설치하여 트랜시iever 간의 진폭, 위상, 주파수 불일치를 보정하였다.

실험 결과

연구 질문

• RQ1 연결된 트랜시iever를 갖는 대규모 MIMO 레이더 시스템에서 단계적 TDM 기반으로 웨이브폼 직교성을 효과적으로 달성할 수 있는가?
• RQ2 신호 구조와 도메인 지식을 활용해 TDM 기반 MIMO 레이더 시스템에서 모호한 도플러 속도를 어떻게 해결할 수 있는가?
• RQ3 임계값 설정이나 포인트 클라우드 변환으로 인한 정보 손실 없이 고해상도 레이더 스펙트럼이 타깃의 형상과 공간 정보를 얼마나 잘 유지할 수 있는가?
• RQ4 제한된 학습 데이터 조건에서 고해상도 레이더 스펙트럼에 대해 이미지 중심 딥 네트워크가 높은 탐지 정확도를 달성할 수 있는가?
• RQ5 TDM 기반 MIMO 레이더 시스템에서 위상 보정이 각도 해상도 향상과 타깃 정렬 정확도 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• 제안된 단계적 TDM 및 속도 전개 방법은 모호한 도플러 속도를 성공적으로 해결하여 정확한 타깃 속도 추정이 가능함을 입증하였다.
• 위상 보정을 통해 이동 중인 자동차의 각도 추정 오차를 -5.5°에서 1.2°로 감소시켜 각도 정확도 향상을 입증하였다.
• 시스템은 1.2°의 각도 해상도와 0.6m의 범위 해상도를 확보하여, 14cm 떨어진 두 개의 모서리 반사체(1.6° 각도 간격)와 0.6m 떨어진 타깃을 명확히 분리할 수 있었다.
• 실세계 레이더 프레임 2,000장을 대상으로 한 실험에서 Faster R-CNN ResNet-50 모델은 0.5 IoU 기준 평균 정밀도 96.1%를 달성하여 뛰어난 탐지 성능을 입증하였다.
• 소형 타깃(≤32×32 픽셀)의 평균 재현율은 79.7%로, 보행자 및 차량과 같은 소형 객체에 대한 효과적인 탐지 능력을 보였다.
• 본 연구는 고해상도 레이더 스펙트럼이 제한된 데이터셋 조건에서도 딥러닝 기반 고성능 객체 탐지가 가능함을 입증하였으며, 향후 MIMO 레이더 기술의 자율주행 응용 가능성을 열어주었다.