[论文解读] Fourier-Based Augmentations for Improved Robustness and Uncertainty Calibration

Ryan Soklaski, Michael Yee+1 more|arXiv (Cornell University)|Feb 24, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出 AugSVF，一种基于傅里叶变换的数据增强方法，通过将频率特定的正弦扰动整合到 AugMix 框架中，提升深度学习模型对常见图像损坏和通用对抗性扰动的鲁棒性。该方法在 CIFAR-10-C 和 CIFAR-100-C 上对高严重性噪声和数字损坏类型，将分类错误率降低超过 10 个百分点，同时改善不确定性校准并降低对基于傅里叶基的对抗性攻击的脆弱性。

ABSTRACT

Diverse data augmentation strategies are a natural approach to improving robustness in computer vision models against unforeseen shifts in data distribution. However, the ability to tailor such strategies to inoculate a model against specific classes of corruptions or attacks -- without incurring substantial losses in robustness against other classes of corruptions -- remains elusive. In this work, we successfully harden a model against Fourier-based attacks, while producing superior-to-AugMix accuracy and calibration results on both the CIFAR-10-C and CIFAR-100-C datasets; classification error is reduced by over ten percentage points for some high-severity noise and digital-type corruptions. We achieve this by incorporating Fourier-basis perturbations in the AugMix image-augmentation framework. Thus we demonstrate that the AugMix framework can be tailored to effectively target particular distribution shifts, while boosting overall model robustness.

研究动机与目标

• 为应对提升模型对特定分布偏移（尤其是基于傅里叶基的对抗性扰动）鲁棒性的挑战，同时不降低在常见损坏上的性能。
• 探究在 AugMix 框架中引入基于傅里叶基的扰动，是否能同时提升对自然损坏和通用对抗性攻击的鲁棒性。
• 评估使用频域分量进行目标增强是否能提升不确定性校准和泛化能力，超越标准 AugMix 的表现。
• 确定对基于傅里叶的扰动的鲁棒性是否与对其他特定频率的对抗性攻击的更强抗性相关。

提出的方法

• 提出 AugSVF，作为 AugMix 数据增强框架的扩展，明确将二维傅里叶基矩阵作为增强原语。
• 使用由波矢 $\vec{k} = [k_x, k_y]$ 定义的二维正弦平面波，生成具有可控频率和方向的扰动，其中幅度 $\left\|U\right\|_2$ 控制扰动强度。
• 通过在输入图像每个颜色通道上逐元素相加的方式，在训练过程中应用这些基于傅里叶的增强，并通过归一化保持能量水平一致。
• 通过混合标准 AugMix 操作与基于傅里叶的增强来训练模型，确保扰动覆盖广泛的频率和方向。
• 为所有傅里叶基矩阵采用固定的相位偏移 $\phi = \pi/4$，并排除 $\left\|U\right\|_2 > 2$ 的训练样本，以维持泛化能力并避免对极端扰动的过拟合。
• 在 CIFAR-10-C 和 CIFAR-100-C 上评估随机和目标攻击下的鲁棒性，通过平均分类错误率和最大分类错误率来衡量性能。

实验结果

研究问题

• RQ1 在 AugMix 框架中引入基于傅里叶基的扰动，是否能提升模型对常见图像损坏和目标攻击的鲁棒性？
• RQ2 在数据增强中引入特定频率的扰动，是否会在不同损坏类型之间产生权衡，特别是高频率与低频率损坏之间？
• RQ3 与标准 AugMix 相比，引入基于傅里叶的增强在多大程度上改善了不确定性校准？
• RQ4 对基于傅里叶基的扰动的鲁棒性是否与对其他基于频率的通用对抗性扰动的泛化能力提升相关？

主要发现

• 与标准 AugMix 相比，AugSVF 在 CIFAR-10-C 和 CIFAR-100-C 的若干高严重性噪声和数字类型损坏上，将分类错误率降低超过 10 个百分点。
• 对于 $\left\|U\right\|_2 = 2$ 的目标傅里叶基攻击，AugSVF 将 CIFAR-10 上的最大分类错误率从 88%（Base）和 83%（AugSV）降低至 28%，在 CIFAR-100 上从 98% 和 95% 降低至 73%。
• AugSVF 在除对比度和脉冲噪声外的所有损坏类型上保持或提升了鲁棒性，后者出现轻微退化，表明负面权衡极小。
• 该方法显著改善了不确定性校准，在标准测试条件下，CIFAR-10 上的平均均方根校准误差从 22 降至 8，CIFAR-100 上从 34 降至 16。
• 使用 AugSVF 训练的模型在傅里叶基扰动的所有频率和方向范围内均表现出近乎恒定的性能，表明具备广谱鲁棒性。
• AugSVF 在干净准确率和鲁棒性方面均优于 Base 和 AugSV 模型，表明有针对性的频域增强可提升泛化能力，而无需牺牲性能。