[论文解读] Improving Robustness Without Sacrificing Accuracy with Patch Gaussian Augmentation

Raphael Gontijo Lopes, Dong Yin+3 more|arXiv (Cornell University)|Jun 6, 2019

Adversarial Robustness in Machine Learning参考文献 50被引用 94

一句话总结

Patch Gaussian 是一种简单的数据增强，通过对随机图像补丁添加高斯噪声，在高斯与 Cutout 之间插值，在 CIFAR-C 和 ImageNet-C 上实现最先进的鲁棒性，同时保持或提升清洁准确率。

ABSTRACT

Deploying machine learning systems in the real world requires both high accuracy on clean data and robustness to naturally occurring corruptions. While architectural advances have led to improved accuracy, building robust models remains challenging. Prior work has argued that there is an inherent trade-off between robustness and accuracy, which is exemplified by standard data augment techniques such as Cutout, which improves clean accuracy but not robustness, and additive Gaussian noise, which improves robustness but hurts accuracy. To overcome this trade-off, we introduce Patch Gaussian, a simple augmentation scheme that adds noise to randomly selected patches in an input image. Models trained with Patch Gaussian achieve state of the art on the CIFAR-10 and ImageNetCommon Corruptions benchmarks while also improving accuracy on clean data. We find that this augmentation leads to reduced sensitivity to high frequency noise(similar to Gaussian) while retaining the ability to take advantage of relevant high frequency information in the image (similar to Cutout). Finally, we show that Patch Gaussian can be used in conjunction with other regularization methods and data augmentation policies such as AutoAugment, and improves performance on the COCO object detection benchmark.

研究动机与目标

• 在标准增强中动机鲁棒性-准确率的权衡，并量化 Cutout 与 Gaussian 的权衡。
• 引入 Patch Gaussian，在 Cutout 与 Gaussian 之间插值以克服该权衡。
• 展示 Patch Gaussian 在 CIFAR-C 和 ImageNet-C 上达到最先进的鲁棒性，并且可与其他正则化方法与策略兼容。
• 证明 Patch Gaussian 在目标检测（COCO）中的益处并分析频域效应以理解其行为。

提出的方法

• 将 Patch Gaussian 定义为在图像上添加一个 W x W 的高斯噪声补丁，具有可控的补丁大小 W 和最大噪声 σ_max。
• 改变补丁大小和 σ_max，以在高斯（全图噪声）与 Cutout（基于补丁的信息移除）之间插值。
• 通过在维持最小清洁准确度 Z（数据集/模型相关）的前提下最大化对高斯噪声的鲁棒性来选择超参数。
• 在 CIFAR-10 和 ImageNet 上使用标准增强进行评估，并与 Baseline、Cutout 和 Gaussian 进行比较。
• 分析与其他正则化方法（Dropblock、标签平滑）以及 AutoAugment 策略的交互作用。
• 进行频域分析以理解 Patch Gaussian 如何影响早期层的低/高频信息。

实验结果

研究问题

• RQ1 Patch Gaussian 能否克服 Cutout 与 Gaussian 之间传统的鲁棒性-准确性权衡？
• RQ2 哪些超参数设置（补丁大小、σ_max）能够实现清洁准确性与鲁棒性之间的最佳平衡？
• RQ3 Patch Gaussian 是否在实际腐蚀基准（CIFAR-C、ImageNet-C）上比仅使用 Gaussian 的鲁棒性更高？
• RQ4 Patch Gaussian 是否与其他正则化策略和增强策略兼容，并且能否迁移到目标检测任务？

主要发现

• Patch Gaussian 在 CIFAR-10 和 ImageNet 上实现了清洁准确性与鲁棒性同时提升，克服了 Cutout/Gaussian 的权衡。
• 在 CIFAR-C 与 ImageNet-C 上，Patch Gaussian 实现了最先进的平均腐蚀误差（mCE），并相对于基线提升了清洁准确率。
• Patch Gaussian 可以与 Dropblock 和 AutoAugment 结合以进一步提升鲁棒性，某些组合达到最佳结果。
• 在目标检测（COCO）中，Patch Gaussian 在清洁数据上的平均精度（mAP）有所提升，并在腐蚀下保持鲁棒性。
• 频域分析显示 Patch Gaussian 在早期层保留有用的高频信息，同时在后续层降低对高频的敏感性，结合了 Cutout 与 Gaussian 的优点。