[论文解读] Defending Against Image Corruptions Through Adversarial Augmentations

Dan A. Calian, Florian Stimberg+5 more|arXiv (Cornell University)|Apr 2, 2021

Adversarial Robustness in Machine Learning参考文献 71被引用 4

一句话总结

本文提出 AdversarialAugment（AdA），一种通过优化预训练图像到图像模型（如自编码器）的参数，生成语义保持、对抗性图像退化的方法。通过在这些对抗性退化图像上训练分类器，AdA 提升了对常见图像退化（在 CIFAR-10-C 上实现 7.83% 的平均退化误差）以及 ImageNet 和 CIFAR-10 上 $ε$-有界对抗扰动的鲁棒性。

ABSTRACT

Modern neural networks excel at image classification, yet they remain vulnerable to common image corruptions such as blur, speckle noise or fog. Recent methods that focus on this problem, such as AugMix and DeepAugment, introduce defenses that operate in expectation over a distribution of image corruptions. In contrast, the literature on $\ell_p$-norm bounded perturbations focuses on defenses against worst-case corruptions. In this work, we reconcile both approaches by proposing AdversarialAugment, a technique which optimizes the parameters of image-to-image models to generate adversarially corrupted augmented images. We theoretically motivate our method and give sufficient conditions for the consistency of its idealized version as well as that of DeepAugment. Our classifiers improve upon the state-of-the-art on common image corruption benchmarks conducted in expectation on CIFAR-10-C and improve worst-case performance against $\ell_p$-norm bounded perturbations on both CIFAR-10 and ImageNet.

研究动机与目标

• 解决对常见图像退化与对 $ε$-有界对抗扰动之间鲁棒性的差距。
• 通过生成多样化、语义一致的退化，提升泛化能力，超越对预定义退化的记忆。
• 通过对抗性优化图像到图像模型，调和分布鲁棒性（如 AugMix）与最坏情况鲁棒性（如对抗训练）。
• 为 AdA 和 DeepAugment 提供理论一致性保证及 PAC-Bayesian 泛化界。
• 在常见退化基准和对抗鲁棒性基准上展示最先进性能。

提出的方法

• AdversarialAugment（AdA）通过优化预训练图像到图像模型（如 VQ-VAE、EDSR、CAE）的权重，生成保留语义内容的对抗性退化。
• 该方法通过对抗训练，优化图像到图像模型参数，以在感知相似性约束下最大化干净输入上分类器的损失。
• 使用可微分的图像到图像模型生成语义上合理且具有对抗性质的退化。
• AdA 与现有方法（如 AugMix 和 DeepAugment）结合，进一步提升鲁棒性，利用其在分布鲁棒性和最坏情况鲁棒性方面的优势。
• 理论分析为 AdA 和 DeepAugment 的一致性提供了充分条件，并基于 Neyshabur 等人（2017）的 PAC-Bayesian 泛化界推导出边界。
• 该方法应用于多种架构（VQ-VAE、U-Net、EDSR、CAE），并在 CIFAR-10-C 和 ImageNet-C 上评估，包含与不包含额外增强的情况。

实验结果

研究问题

• RQ1 对图像到图像模型进行对抗性优化，是否能生成比启发式或随机退化更有效且更具泛化能力的数据增强？
• RQ2 将 AdA 与 AugMix 和 DeepAugment 等现有方法结合，是否能同时提升对常见退化和最坏情况对抗扰动的鲁棒性？
• RQ3 可以为 AdA 及类似方法的一致性和泛化性提供哪些理论保证？
• RQ4 在多种退化类型下，AdA 与感知对抗训练（PAT）及其他 SOTA 方法相比，其鲁棒性表现如何？
• RQ5 不同图像到图像模型架构（如 EDSR 与 CAE）在多大程度上影响生成的对抗性退化的质量与泛化能力？

主要发现

• 当与 AugMix 和 DeepAugment 结合时，AdA 在 CIFAR-10-C 上实现了 7.83% 的平均退化误差（mCE），优于此前 SOTA 的 8.11%（DeepAugment）和 10.90%（AugMix）。
• 在 ImageNet-C 上，AdA 与全部四种模型（VQ-VAE、U-Net、EDSR、CAE）结合时，mCE 为 72.27%（与 AugMix 结合），在同时结合 AugMix 和 DeepAugment 时降至 62.90%。
• AdA 显著提升了 ImageNet 上的最坏情况鲁棒性，优于 PAT（23.51% mCE），且性能优于单独使用 DeepAugment 或 AugMix。
• 该方法在各类退化类型上泛化良好，尤其在模糊、雾霾、积雪和 JPEG 伪影上表现一致，且在结合多个图像到图像模型时提升更为显著。
• 使用 EDSR 主干网络的 AdA 在 CIFAR-10-C 上实现了最低的 mCE（7.83%），表明在对抗性退化中保留高频细节对性能至关重要。
• 理论分析在理想化设置下确认了 AdA 和 DeepAugment 的一致性，PAC-Bayesian 边界支持其泛化性能。