[论文解读] Adversarial Rain Attack and Defensive Deraining for DNN Perception

Liming Zhai, Felix Juefei-Xu+6 more|arXiv (Cornell University)|Sep 19, 2020

Adversarial Robustness in Machine Learning被引用 10

一句话总结

本文提出一种对抗性降雨攻击，通过深度神经网络（DNN）引导生成逼真且视觉明显的雨痕，以暴露图像分类和目标检测系统中的漏洞。此外，本文还引入了基于对抗性降雨增强的防御去雨方法，显著提升了去雨模型在雨天输入下的性能及下游DNN的准确率。

ABSTRACT

Rain often poses inevitable threats to deep neural network (DNN) based perception systems, and a comprehensive investigation of the potential risks of the rain to DNNs is of great importance. However, it is rather difficult to collect or synthesize rainy images that can represent all rain situations that would possibly occur in the real world. To this end, in this paper, we start from a new perspective and propose to combine two totally different studies, i.e., rainy image synthesis and adversarial attack. We first present an adversarial rain attack, with which we could simulate various rain situations with the guidance of deployed DNNs and reveal the potential threat factors that can be brought by rain. In particular, we design a factor-aware rain generation that synthesizes rain streaks according to the camera exposure process and models the learnable rain factors for adversarial attack. With this generator, we perform the adversarial rain attack against the image classification and object detection. To defend the DNNs from the negative rain effect, we also present a defensive deraining strategy, for which we design an adversarial rain augmentation that uses mixed adversarial rain layers to enhance deraining models for downstream DNN perception. Our large-scale evaluation on various datasets demonstrates that our synthesized rainy images with realistic appearances not only exhibit strong adversarial capability against DNNs, but also boost the deraining models for defensive purposes, building the foundation for further rain-robust perception studies.

研究动机与目标

• 探究降雨对基于DNN的感知系统（尤其是自动驾驶与监控系统）在真实世界中的风险。
• 解决缺乏多样化、逼真雨天图像数据的问题，以暴露DNN在极端或对抗性降雨条件下的脆弱性。
• 开发一种防御策略，通过使用对抗性降雨数据增强去雨模型，以提升感知任务中的鲁棒性。
• 通过生成高保真、DNN引导的对抗性降雨模式，弥合合成雨天图像与真实世界雨天图像之间的差距。

提出的方法

• 提出感知因子驱动的雨痕生成方法，基于相机曝光过程建模雨痕，并引入可学习的雨因子以实现对抗性攻击。
• 采用基于GAN的生成器合成视觉逼真但故意明显的雨层，以最大化对抗性影响。
• 将生成的对抗性雨痕应用于干净图像，构建可误导DNN在分类与检测任务中表现的对抗性样本。
• 通过在训练过程中混合对抗性雨层，引入对抗性雨增强方法，以提升去雨模型的泛化能力与鲁棒性。
• 采用标准去雨模型（PreNet, EfDeRain）在对抗性雨数据上进行微调，以评估防御性能。
• 在基准数据集（Rain100H, Rain1400, MS COCO, DEV）上通过PSNR、SSIM与top-1准确率指标验证方法有效性。

实验结果

研究问题

• RQ1 哪些雨痕外观因素（如强度、方向、亮度）对DNN感知性能的劣化影响最为关键？
• RQ2 基于DNN的雨痕生成能否生成在视觉上逼真且能有效误导DNN的对抗性雨痕？
• RQ3 对抗性雨增强在多大程度上可提升去雨模型去除复杂雨痕的鲁棒性？
• RQ4 使用对抗性雨进行防御性去雨在多大程度上能提升下游DNN感知任务在雨天输入下的准确率？

主要发现

• 对抗性降雨攻击成功生成了视觉逼真的雨痕模式，可有效误导最先进的DNN在图像分类与目标检测任务中的表现。
• 在Rain100H与Rain1400数据集上，使用对抗性雨增强训练的去雨模型相比基线模型在PSNR与SSIM指标上均有显著提升。
• 在DEV数据集上，经对抗性雨增强训练的去雨模型输出的去雨图像使图像分类器的top-1准确率显著提高（例如提升15–20个百分点）。
• 视觉对比显示，对抗性雨增强的去雨模型生成的图像更清晰、细节更丰富，且纹理与边缘保留效果更优。
• 传统数据增强方法（如AugMix、翻转/旋转）仅带来微小改进，凸显了对抗性雨在模拟难对付、欺骗性雨痕方面的独特有效性。
• 该方法揭示了雨量强度与方向性模式是关键威胁因素，可系统性地用于测试与提升DNN的鲁棒性。