[论文解读] Improving Robustness of Learning-based Autonomous Steering Using Adversarial Images

Yu Shen, Laura Zheng+4 more|arXiv (Cornell University)|Feb 26, 2021

Adversarial Robustness in Machine Learning参考文献 47被引用 5

一句话总结

本文提出了一种新颖的对抗性退化框架，通过使用Fréchet Inception Distance（FID）系统分析图像质量退化的影响，并利用进化搜索优化退化参数，从而在基于学习的自主转向中提升鲁棒性。该方法在损坏数据上的模型性能最高提升48%，并能泛化到雪、雾等未见扰动，优于数据增强和标准对抗训练。

ABSTRACT

For safety of autonomous driving, vehicles need to be able to drive under various lighting, weather, and visibility conditions in different environments. These external and environmental factors, along with internal factors associated with sensors, can pose significant challenges to perceptual data processing, hence affecting the decision-making and control of the vehicle. In this work, we address this critical issue by introducing a framework for analyzing robustness of the learning algorithm w.r.t varying quality in the image input for autonomous driving. Using the results of sensitivity analysis, we further propose an algorithm to improve the overall performance of the task of "learning to steer". The results show that our approach is able to enhance the learning outcomes up to 48%. A comparative study drawn between our approach and other related techniques, such as data augmentation and adversarial training, confirms the effectiveness of our algorithm as a way to improve the robustness and generalization of neural network training for autonomous driving.

研究动机与目标

• 分析图像质量退化（如模糊、噪声、失真及色彩通道变化）对端到端学习转向模型的影响。
• 开发一种系统化方法，利用Fréchet Inception Distance（FID）作为真实与模拟图像分布的统一度量，量化退化严重程度。
• 设计一种可扩展的训练方案，生成对抗性退化的图像以提升模型鲁棒性，同时不牺牲在干净数据上的性能。
• 在多种场景下评估鲁棒性，包括单重、多重及此前未见的扰动，超越标准基准测试实践。
• 发布一个全面的基准数据集，包含360个经扰动的图像集合，总计220万张图像，以支持未来自动驾驶中的鲁棒性评估。

提出的方法

• 该方法使用Fréchet Inception Distance（FID）量化真实与模拟退化图像集之间的分布差异，实现在MA-FID空间中的敏感性分析。
• 将图像退化建模为图像属性（如模糊、噪声、失真、R/G/B/H/S/V）的参数化空间，并利用FID指导有效退化组合的搜索。
• 采用进化优化策略，迭代更新退化参数以实时最小化模型性能，生成挑战模型的对抗性扰动。
• 训练过程在真实数据与对抗性退化的合成数据之间交替进行，通过隐式对抗正则化提升鲁棒性。
• 通过基于FID的参数化，对高维退化空间进行离散化，实现对最优退化模式的高效且可扩展的搜索。
• 该方法扩展至检测任务，在Audi数据集上使用YOLOv4进行验证，展示了良好的可迁移性，并实现mAP稳定提升3–5%。

实验结果

研究问题

• RQ1 不同图像质量属性（如模糊、噪声、失真及色彩通道变化）如何影响端到端学习转向模型的性能？
• RQ2 Fréchet Inception Distance（FID）能否作为可靠度量，用于预测在模拟图像退化上训练的模型在真实世界中的表现？
• RQ3 对抗性退化生成在自动驾驶中对已见和未见图像退化上的模型鲁棒性提升程度如何？
• RQ4 与标准数据增强和对抗训练相比，该方法在多种扰动场景下的准确率和泛化能力表现如何？
• RQ5 该框架能否推广至其他学习任务和图像以外的传感器模态？

主要发现

• 在包含多重图像扰动的数据集上测试时，与强基线相比，该方法在学习转向任务上的平均准确率最高提升48%。
• 在雪、雾、霜等此前未见的扰动上，模型性能提升达29%，表明其在训练分布之外具有强大的泛化能力。
• 在使用YOLOv4的检测任务中，该方法实现平均mAP提升3–5%，mCE降低3.14–5.18%。
• 基于FID的敏感性分析成功预测了在模拟数据上训练的模型在真实世界中的表现，验证了其作为退化严重程度统一度量的有效性。
• 该框架在其他任务上也表现出良好的泛化能力，在多种复杂组合的扰动场景中均实现一致的性能提升。
• 作者发布了包含360个经扰动图像集合的综合性基准数据集，总计220万张图像，包括来自ImageNet-C的未见因素，以支持未来的鲁棒性研究。