[论文解读] Adversarial Defense by Suppressing High-frequency Components

Zhendong Zhang, Cheolkon Jung+1 more|arXiv (Cornell University)|Aug 19, 2019

Adversarial Robustness in Machine Learning参考文献 4被引用 8

一句话总结

本文提出一种基于离散傅里叶变换（DFT）的可微分高频抑制模块，通过滤除被对抗扰动利用的高频分量，提升深度神经网络对对抗攻击的鲁棒性。该方法结合高频抑制、对抗训练（TRADES）和模型集成，在IJCAI-2019阿里巴巴对抗性AI挑战赛中取得19.7531分，位列第五名。

ABSTRACT

Recent works show that deep neural networks trained on image classification dataset bias towards textures. Those models are easily fooled by applying small high-frequency perturbations to clean images. In this paper, we learn robust image classification models by removing high-frequency components. Specifically, we develop a differentiable high-frequency suppression module based on discrete Fourier transform (DFT). Combining with adversarial training, we won the 5th place in the IJCAI-2019 Alibaba Adversarial AI Challenge. Our code is available online.

研究动机与目标

• 解决深度神经网络对利用高频扰动的对抗攻击的脆弱性。
• 利用清晰图像的能量主要集中于低频分量，而对抗扰动主要为高频分量的观察结果。
• 开发一种鲁棒、高效且可微分的图像预处理模块，抑制高频分量的同时不损害清晰图像的表征。
• 通过与对抗训练和模型集成的联合优化，提升模型鲁棒性。
• 证明频域滤波作为真实对抗挑战中的防御机制的有效性。

提出的方法

• 应用离散傅里叶变换（DFT）将输入图像转换到频域。
• 使用半径为r的矩形窗掩码𝒫，对高频分量（设为0）进行抑制，同时保留低频分量（设为1）。
• 在频域滤波后，通过逆DFT将图像重建回空间域，形成可微分模块：x ← F⁻¹(𝒫 ⊙ F(x))。
• 将高频抑制模块集成到DNN架构中，实现与对抗样本的端到端联合训练。
• 将该模块与TRADES对抗训练结合，同时优化清晰准确率与鲁棒性。
• 通过集成多个抑制半径r不同的模型，进一步提升鲁棒性。

实验结果

研究问题

• RQ1 在频域中抑制高频分量是否能提升深度神经网络对对抗攻击的鲁棒性？
• RQ2 当与对抗训练结合时，可微分、高效且可控的高频抑制模块是否能实现更优的防御效果？
• RQ3 不同水平的高频抑制（由r控制）下，清晰准确率与鲁棒性之间的权衡如何变化？
• RQ4 在真实对抗挑战中，频域滤波是否比单独使用标准对抗训练更有效？
• RQ5 高频抑制带来的性能提升是否与对抗训练和模型集成具有互补性？

主要发现

• 清晰图像在低频区域表现出集中的频谱能量，而对抗扰动在所有频率上能量分布近乎均匀。
• 使用矩形窗掩码进行高频抑制能有效降低对抗扰动的影响，同时保留清晰图像的大部分结构信息。
• 所提出的高频抑制模块具有可微性，效率高（时间复杂度为O(MN log M)），并通过矩形窗的半径r实现可控调节。
• 仅使用高频抑制（不进行对抗训练）时，随着r减小，鲁棒性显著提升，但清晰准确率下降。
• 将高频抑制与对抗训练（TRADES）及模型集成结合，取得了最佳性能，在IJCAI-2019阿里巴巴对抗性AI挑战赛中获得19.7531分。
• 该方法在挑战赛中位列第五，优于单独使用对抗训练或高频抑制，证明了其优势的互补性。