[论文解读] High Resolution Millimeter Wave Imaging For Self-Driving Cars

Junfeng Guan, Sohrab Madani+2 more|arXiv (Cornell University)|Dec 19, 2019

Terahertz technology and applications参考文献 51被引用 10

一句话总结

HawkEye 提出了一种基于深度学习的系统，利用生成对抗网络（GANs）将低分辨率、含伪影的毫米波雷达热成像图转换为适用于自动驾驶汽车的高分辨率、感知上准确的车辆图像。通过解决光泽反射、多径伪影和低分辨率问题，HawkEye 实现了定位精度最高达 5.22× 的提升，并将误报率相比最先进的毫米波雷达系统降低了 4 倍。

ABSTRACT

Recent years have witnessed much interest in expanding the use of networking signals beyond communication to sensing, localization, robotics, and autonomous systems. This paper explores how we can leverage recent advances in 5G millimeter wave (mmWave) technology for imaging in self-driving cars. Specifically, the use of mmWave in 5G has led to the creation of compact phased arrays with hundreds of antenna elements that can be electronically steered. Such phased arrays can expand the use of mmWave beyond vehicular communications and simple ranging sensors to a full-fledged imaging system that enables self-driving cars to see through fog, smog, snow, etc. Unfortunately, using mmWave signals for imaging in self-driving cars is challenging due to the very low resolution, the presence of fake artifacts resulting from multipath reflections and the absence of portions of the car due to specularity. This paper presents HawkEye, a system that can enable high resolution mmWave imaging in self driving cars. HawkEye addresses the above challenges by leveraging recent advances in deep learning known as Generative Adversarial Networks (GANs). HawkEye introduces a GAN architecture that is customized to mmWave imaging and builds a system that can significantly enhance the quality of mmWave images for self-driving cars.

研究动机与目标

• 解决自动驾驶汽车中毫米波雷达的关键局限——空间分辨率低、感知质量差，尤其是在恶劣天气和低能见度条件下。
• 克服因镜面反射（导致车辆部分区域在雷达图像中不可见）、多径伪影（鬼影反射）和低分辨率热成像图带来的挑战。
• 通过利用深度学习，特别是 GANs，结合立体相机深度图作为真实标签，实现基于毫米波信号的高分辨率、可感知理解的车辆成像。
• 提升毫米波雷达数据中车辆的定位、姿态估计和形状重建性能，使其达到或超过立体相机系统的表现。

提出的方法

• 训练一种定制的 GAN 架构，学习将低分辨率的毫米波雷达热成像图映射为高分辨率、逼真的车辆图像。
• 使用立体相机深度图作为真实标签来监督 GAN 训练，确保生成的图像在几何和感知上准确。
• 引入一个判别器网络，用于区分真实相机深度图与生成的毫米波图像，从而促使输出结果具有逼真感和结构正确性。
• 采用三角调频连续波（FMCW）波形，以实现多普勒频移的估计与校正，保持动态环境中的精度。
• 使用合成数据增强和领域自适应技术，提升对真实世界中车辆形状和环境条件变化的鲁棒性。
• 实施多阶段优化流程，首先填补因镜面反射造成的孔洞，然后抑制多径和环境反射引起的虚假信号。

实验结果

研究问题

• RQ1 基于 GAN 的方法能否显著提升自动驾驶汽车毫米波雷达图像的分辨率和感知质量？
• RQ2 深度学习在多大程度上能够缓解因镜面反射导致的毫米波雷达图像中区域缺失的问题？
• RQ3 学习模型能否有效抑制毫米波雷达数据中的多径伪影和虚假反射，从而减少误报检测？
• RQ4 所提出系统在定位、姿态和形状重建精度方面，与最先进的毫米波雷达和立体相机系统相比表现如何？

主要发现

• HawkEye 在三个维度（x, y, z）上将定位误差降低了 2.26 倍，中位数误差分别降至 0.84m、0.93m 和 0.09m，而毫米波雷达的对应值为 1.90m、2.10m 和 0.47m。
• 系统将车辆表面缺失区域的中位数比例从雷达的 30% 降低至 HawkEye 的 13%，显著提升了形状完整性。
• HawkEye 将虚假反射点的中位数比例从雷达的 20% 降低至 3.7%，第 90 百分位数从 38% 降至 9.6%，表明误报抑制能力提升了 4 倍。
• 姿态估计误差从雷达的 62° 降低至 HawkEye 的 30°，表明目标检测在几何一致性方面得到显著改善。
• HawkEye 生成的图像在感知上与立体相机深度图相当，可在低能见度条件下实现可靠的物体识别与场景理解。
• 该系统对运动车辆引起的多普勒频移保持鲁棒性，因为这些频移可通过标准的 FMCW 信号处理技术进行校正。