[论文解读] Adversarial Feature Augmentation and Normalization for Visual Recognition

Tianlong Chen, Yu Cheng+5 more|arXiv (Cornell University)|Mar 22, 2021

Adversarial Robustness in Machine Learning参考文献 73被引用 10

一句话总结

本文提出A-FAN，一种新颖的对抗性特征增强与归一化方法，通过在中间特征嵌入上应用多强度对抗性扰动并利用对抗性特征的批量统计信息重新归一化，从而在视觉识别任务中提升泛化性能。与像素级对抗性训练相比，该方法在分类、检测和分割任务中均实现了稳定的准确率提升，且计算开销极低。

ABSTRACT

Recent advances in computer vision take advantage of adversarial data augmentation to ameliorate the generalization ability of classification models. Here, we present an effective and efficient alternative that advocates adversarial augmentation on intermediate feature embeddings, instead of relying on computationally-expensive pixel-level perturbations. We propose Adversarial Feature Augmentation and Normalization (A-FAN), which (i) first augments visual recognition models with adversarial features that integrate flexible scales of perturbation strengths, (ii) then extracts adversarial feature statistics from batch normalization, and re-injects them into clean features through feature normalization. We validate the proposed approach across diverse visual recognition tasks with representative backbone networks, including ResNets and EfficientNets for classification, Faster-RCNN for detection, and Deeplab V3+ for segmentation. Extensive experiments show that A-FAN yields consistent generalization improvement over strong baselines across various datasets for classification, detection and segmentation tasks, such as CIFAR-10, CIFAR-100, ImageNet, Pascal VOC2007, Pascal VOC2012, COCO2017, and Cityspaces. Comprehensive ablation studies and detailed analyses also demonstrate that adding perturbations to specific modules and layers of classification/detection/segmentation backbones yields optimal performance. Codes and pre-trained models will be made available at: https://github.com/VITA-Group/CV_A-FAN.

研究动机与目标

• 解决视觉识别中像素级对抗性数据增强带来的高计算成本问题。
• 在不降低干净数据性能的前提下提升模型泛化能力。
• 探究对抗性训练是否可在图像分类之外的任务中有效，如目标检测与语义分割。
• 提出一种更高效的输入级对抗性增强替代方案，通过在中间特征表示上操作实现。
• 研究在不同主干网络架构中，对抗性特征增强的最佳位置与扰动强度。

提出的方法

• A-FAN使用一步投影梯度下降（PGD）方法在中间特征嵌入上生成对抗性特征扰动。
• 通过插值生成从弱到强的多种扰动强度，实现多尺度正则化。
• 从应用于扰动特征的批量归一化层中提取对抗性特征统计量（均值与方差）。
• 将这些统计量通过归一化操作重新注入干净特征中，实现隐式的、标签保持的样本增强。
• 该方法即插即用，可应用于主干网络及任务特定模块（如分类器、ROI头、解码器）。
• 归一化步骤通过融合干净特征与对抗性正则化特征，平滑决策边界。

实验结果

研究问题

• RQ1 对抗性特征增强是否可在包括检测与分割在内的多样化视觉识别任务中提升泛化性能，而不仅限于图像分类？
• RQ2 是否可通过特征空间对抗性增强在降低计算成本的同时，实现与像素级扰动相当或更优的性能增益？
• RQ3 在不同模型中，对抗性特征扰动的最佳位置（层/块）与强度（步长、PGD步数）为何？
• RQ4 与随机噪声注入相比，对抗性特征归一化在泛化性能提升方面表现如何？
• RQ5 所提方法是否在提升干净数据性能的同时保持了模型鲁棒性？

主要发现

• 在CIFAR-10（ResNet-56s）上，A-FAN实现1.23%的绝对准确率增益，优于随机噪声注入1.46%。
• 在COCO2017目标检测任务中，当应用于主干网络与ROI头时，A-FAN将AP提升0.72%。
• 在Pascal VOC2012语义分割任务中，当同时应用于主干网络与解码器模块时，A-FAN将mIOU提升0.51%。
• 将A-FAN应用于主干网络最后一层（如B3或B4）可获得最佳性能，而多层块同时应用会降低泛化能力。
• 最优扰动强度为：ResNet-18对应PGD-5且α = 1.0/255；Faster R-CNN对应PGD-1且α = 0.3/255；DeepLab V3+对应PGD-1且α = 0.4/255。
• 过强的扰动强度（如PGD-10且α = 4.0/255）会导致性能下降，表明有效正则化的最优范围较窄。