[논문 리뷰] High Resolution Millimeter Wave Imaging For Self-Driving Cars

Junfeng Guan, Sohrab Madani외 2명|arXiv (Cornell University)|2019. 12. 19.

Terahertz technology and applications참고 문헌 51인용 수 10

한 줄 요약

HawkEye는 자기주행차를 위한 자율주행차를 위한 저해상도이자 잡음이 많은 mmWave 레이더 히트맵을 고해상도이자 시각적으로 정확한 차량 영상으로 변환하는 딥러닝 기반 시스템을 제안한다. 반사광, 다중경로 잡음, 저해상도 문제를 해결함으로써 HawkEye는 국소화 정확도를 최대 5.22배 향상시키고, 최신 mmWave 레이더 대비 거짓 양성 결과를 4배 감소시킨다.

ABSTRACT

Recent years have witnessed much interest in expanding the use of networking signals beyond communication to sensing, localization, robotics, and autonomous systems. This paper explores how we can leverage recent advances in 5G millimeter wave (mmWave) technology for imaging in self-driving cars. Specifically, the use of mmWave in 5G has led to the creation of compact phased arrays with hundreds of antenna elements that can be electronically steered. Such phased arrays can expand the use of mmWave beyond vehicular communications and simple ranging sensors to a full-fledged imaging system that enables self-driving cars to see through fog, smog, snow, etc. Unfortunately, using mmWave signals for imaging in self-driving cars is challenging due to the very low resolution, the presence of fake artifacts resulting from multipath reflections and the absence of portions of the car due to specularity. This paper presents HawkEye, a system that can enable high resolution mmWave imaging in self driving cars. HawkEye addresses the above challenges by leveraging recent advances in deep learning known as Generative Adversarial Networks (GANs). HawkEye introduces a GAN architecture that is customized to mmWave imaging and builds a system that can significantly enhance the quality of mmWave images for self-driving cars.

연구 동기 및 목표

• 자기주행차에서 mmWave 레이더의 핵심적 한계인 낮은 공간 해상도와 열악한 시각적 품질을 해결한다. 특히 악천후 및 저조도 조건에서의 성능을 향상시키기 위해.
• 반사광 반사(차량의 일부가 레이더 영상에서 보이지 않는 현상), 다중경로 잡음(가짜 반사), 저해상도 히트맵 문제를 해결한다.
• 스테레오 카메라 깊이 맵을 기준으로 삼아 딥러닝, 특히 GAN을 활용해 mmWave 신호를 이용해 고해상도이자 시각적으로 이해 가능한 차량 영상 생성을 가능하게 한다.
• mmWave 레이더 데이터에서 차량의 국소화, 자세 추정, 형태 복원 성능을 햖거나 스테레오 카메라 시스템 수준 이상으로 향상시킨다.

제안 방법

• 저해상도 mmWave 레이더 히트맵을 고해상도이자 현실적인 차량 영상으로 변환하는 데 특화된 커스텀 GAN 아키텍처를 학습한다.
• 생성된 영상의 기하학적 및 시각적 정확도를 확보하기 위해 스테레오 카메라 깊이 맵을 지도로 사용해 GAN 학습을 수행한다.
• 실제 카메라 깊이 맵과 생성된 mmWave 영상 간을 구분하는 디스criminator 네트워크를 통합하여, 사진처럼 현실적이며 기하학적으로 올바른 출력을 유도한다.
• 다이내믹 환경에서 정확도를 유지하기 위해 주파수 변조 연속파(FMCW) 파형을 삼각형 형태로 적용하여 도플러 이동 보정을 가능하게 한다.
• 실제 환경의 차량 형태 및 환경 조건 변화에 대비해 합성 데이터 증강 및 도메인 적응 기법을 활용해 시스템의 강인성을 향상시킨다.
• 먼저 반사광으로 인한 빈 공간을 메우고, 이후 다중경로 및 환경 반사로 인한 거짓 양성 결과를 억제하는 다단계 정밀화 프로세스를 구현한다.

실험 결과

연구 질문

• RQ1 GAN 기반 접근법이 자기주행차를 위한 mmWave 레이더 영상의 해상도와 시각적 품질을 크게 향상시킬 수 있는가?
• RQ2 딥러닝 기술이 mmWave 레이더 영상에서 사라지는 영역을 유발하는 반사광 반사의 영향을 어느 정도 완화할 수 있는가?
• RQ3 학습된 모델이 mmWave 레이더 데이터의 다중경로 잡음 및 가짜 반사 영역을 효과적으로 억제해 거짓 양성 탐지 수를 줄일 수 있는가?
• RQ4 국소화, 자세 추정, 형태 복원 정확도 측면에서 제안된 시스템의 성능이 최신 mmWave 레이더 및 스테레오 카메라 시스템과 비교해 어떻게 되는가?

주요 결과

• HawkEye는 모든 세 축(x, y, z)에서 국소화 오차를 2.26배 감소시켜, mmWave 레이더 대비 각각 0.84m, 0.93m, 0.09m의 중앙 오차를 달성했다. 반면 mmWave 레이더는 각각 1.90m, 2.10m, 0.47m의 중앙 오차를 기록했다.
• 차량 표면의 누락 비율을 mmWave 레이더의 30%에서 HawkEye로 13%로 감소시켜 형태 완전성 향상을 크게 달성했다.
• 허위 반사 영역의 중앙 비율을 mmWave 레이더의 20%에서 HawkEye로 3.7%로 감소시켰으며, 90프cntile 값은 38%에서 9.6%로 하락해 거짓 양성 결과 억제에 4배의 향상 효과를 보였다.
• 자세 추정 오차는 mmWave 레이더의 62°에서 HawkEye로 30°로 감소해 객체 탐지에서 기하학적 일致성 향상을 입증했다.
• HawkEye의 출력 영상은 시각적으로 스테레오 카메라 깊이 맵과 유사해, 저조도 조건에서도 신뢰할 수 있는 객체 인식 및 장면 이해를 가능하게 한다.
• 이동 중 차량으로 인한 도플러 이동 효과에 대해서도 시스템이 강인함을 입증했으며, 이는 표준 FMCW 신호 처리 기법을 통해 보정 가능하기 때문이다.