[论文解读] Generation of Realistic Synthetic Raw Radar Data for Automated Driving Applications using Generative Adversarial Networks

Eduardo C. Fidelis, Fabio Reway+6 more|arXiv (Cornell University)|Aug 4, 2023

Autonomous Vehicle Technology and SafetyEngineering被引用 3

一句话总结

该论文提出了一种基于GAN的方法，用于生成逼真的合成原始FMCW雷达数据，以距离和噪声为输入，生成16个同时 chirps。该方法实现了较低的FID分数（0.51），并生成了逼真的距离-方位图和目标检测结果，与传统的射线追踪方法相比，显著缩小了仿真到现实的差距。

ABSTRACT

The main approaches for simulating FMCW radar are based on ray tracing, which is usually computationally intensive and do not account for background noise. This work proposes a faster method for FMCW radar simulation capable of generating synthetic raw radar data using generative adversarial networks (GAN). The code and pre-trained weights are open-source and available on GitHub. This method generates 16 simultaneous chirps, which allows the generated data to be used for the further development of algorithms for processing radar data (filtering and clustering). This can increase the potential for data augmentation, e.g., by generating data in non-existent or safety-critical scenarios that are not reproducible in real life. In this work, the GAN was trained with radar measurements of a motorcycle and used to generate synthetic raw radar data of a motorcycle traveling in a straight line. For generating this data, the distance of the motorcycle and Gaussian noise are used as input to the neural network. The synthetic generated radar chirps were evaluated using the Frechet Inception Distance (FID). Then, the Range-Azimuth (RA) map is calculated twice: first, based on synthetic data using this GAN and, second, based on real data. Based on these RA maps, an algorithm with adaptive threshold and edge detection is used for object detection. The results have shown that the data is realistic in terms of coherent radar reflections of the motorcycle and background noise based on the comparison of chirps, the RA maps and the object detection results. Thus, the proposed method in this work has shown to minimize the simulation-to-reality gap for the generation of radar data.

研究动机与目标

• 解决传统射线追踪方法在FMCW雷达仿真中计算成本高且真实感有限的问题。
• 通过生成与真实世界测量高度相似的合成雷达数据，减少自动驾驶传感器仿真中的仿真到现实差距。
• 通过为罕见或安全关键场景生成合成数据，实现雷达处理算法的高效数据增强。
• 开发一种数据驱动、计算高效的雷达仿真物理传感器模型替代方案。
• 通过FID分数、RA图对比和目标检测性能验证生成雷达数据的真实性。

提出的方法

• 在真实FMCW雷达的原始基带信号上训练条件GAN，以距离和高斯噪声作为条件输入。
• 生成器网络采用类似WaveGAN的架构，包含批量归一化和ReLU激活函数，每次前向传播输出16个chirps。
• 判别器同时对生成数据和输入距离进行条件控制，使用预训练的回归模型进行距离预测，实现特征匹配。
• 输入数据（基带信号和距离）使用StandardScaler进行缩放，以匹配生成器tanh激活函数的-1至1输出范围。
• 模型训练了4,655个周期，使用FID和最近邻（NN）距离度量进行评估，以衡量真实性和泛化能力。
• 从真实数据和生成数据中计算距离-方位（RA）图，并应用自适应阈值加边缘检测算法进行目标检测。

实验结果

研究问题

• RQ1 基于GAN的模型能否生成在感知和统计上与真实雷达测量相似的合成原始FMCW雷达数据？
• RQ2 生成数据的FID分数与真实数据和训练数据相比如何，以反映分布相似性？
• RQ3 生成的RA图和目标检测结果在多大程度上与真实雷达数据匹配？
• RQ4 该模型能否在不复制训练样本的情况下生成逼真的背景噪声和相干雷达回波？
• RQ5 在计算效率方面，GAN的推理速度与传统射线追踪方法相比如何？

主要发现

• 生成数据与真实数据之间的FID分数为0.51，表明合成数据具有很强的分布相似性，真实感高。
• 生成数据与训练样本之间的最近邻（NN）距离为2.37，高于训练-训练（1.00），与测试-训练（2.83）相当，表明样本并非简单复制。
• 从生成数据中预测摩托车距离的平均绝对误差为1.4米，表明目标定位准确。
• 生成器在3.92秒内生成了6,000个chirps（每样本0.65毫秒），展示了极高的计算效率。
• 从合成数据生成的RA图在结构和反射模式上与真实世界地图高度一致，尤其在摩托车目标上表现突出。
• 使用自适应阈值和边缘检测进行目标检测在真实数据和合成数据上均取得了稳定结果，证实了功能上的真实性。