[论文解读] DropAttack: A Masked Weight Adversarial Training Method to Improve Generalization of Neural Networks

Shiwen Ni, Jiawen Li+1 more|arXiv (Cornell University)|Aug 29, 2021

Adversarial Robustness in Machine Learning参考文献 25被引用 7

一句话总结

DropAttack 是一种新颖的掩码权重对抗训练方法，通过在训练过程中对输入特征和模型权重的随机掩码子集应用基于梯度的对抗扰动，提升神经网络的泛化能力。该方法在五个 NLP 和 CV 基准测试中达到最先进性能，减少过拟合，并通过隐式梯度正则化促进更平坦的损失曲面。

ABSTRACT

Adversarial training has been proven to be a powerful regularization method to improve the generalization of models. However, current adversarial training methods only attack the original input sample or the embedding vectors, and their attacks lack coverage and diversity. To further enhance the breadth and depth of attack, we propose a novel masked weight adversarial training method called DropAttack, which enhances generalization of model by adding intentionally worst-case adversarial perturbations to both the input and hidden layers in different dimensions and minimize the adversarial risks generated by each layer. DropAttack is a general technique and can be adopt to a wide variety of neural networks with different architectures. To validate the effectiveness of the proposed method, we used five public datasets in the fields of natural language processing (NLP) and computer vision (CV) for experimental evaluating. We compare the proposed method with other adversarial training methods and regularization methods, and our method achieves state-of-the-art on all datasets. In addition, Dropattack can achieve the same performance when it use only a half training data compared to other standard training method. Theoretical analysis reveals that DropAttack can perform gradient regularization at random on some of the input and wight parameters of the model. Further visualization experiments show that DropAttack can push the minimum risk of the model to a lower and flatter loss landscapes. Our source code is publicly available on https://github.com/nishiwen1214/DropAttack.

研究动机与目标

• 为解决现有对抗训练方法中仅攻击输入或嵌入向量所导致的覆盖范围有限和多样性不足的问题。
• 通过将对抗攻击扩展至模型权重而非仅输入，提升模型泛化能力。
• 开发一种适用于多种神经网络架构的通用正则化技术。
• 证明掩码对抗训练可实现更平坦、更低损失的极小值，从而提升泛化性能。

提出的方法

• DropAttack 在每次训练迭代中对输入特征和模型权重参数的随机掩码子集应用对抗扰动。
• 采用基于梯度的攻击策略，通过损失函数对输入和权重的梯度符号计算扰动。
• 该方法引入一种掩码机制，随机选择输入张量和权重张量中一定比例的元素进行对抗扰动，从而提升攻击多样性。
• 优化目标为最小化标准损失与来自输入和权重扰动的对抗风险之和，从而有效正则化梯度。
• 通过惩罚掩码输入和权重分量上的大梯度，隐式施加梯度正则化，促进更平坦的极小值。
• 该方法与多种架构兼容，可仅通过极少修改集成到标准训练流程中。

实验结果

研究问题

• RQ1 同时攻击输入和模型权重的对抗训练是否能超越仅攻击输入的标准对抗训练，实现更好的泛化？
• RQ2 在输入和权重维度上进行掩码对抗扰动是否能提升对抗攻击的多样性和覆盖范围？
• RQ3 DropAttack 是否能在数据量减少的情况下，在多样化的 NLP 和 CV 基准上实现最先进性能？
• RQ4 DropAttack 如何影响损失曲面的几何结构，特别是其平坦度和极小值深度？
• RQ5 DropAttack 对模型梯度施加正则化效应的理论基础是什么？

主要发现

• DropAttack 在所有五个测试的公开数据集中均达到最先进性能，包括 IMDB、AG’s News、MNIST、CIFAR-10 和 SNLI。
• 该方法仅使用一半训练数据即可达到与标准训练相当的性能，表明其具有强大的样本效率。
• DropAttack 减少过拟合并提升泛化能力，尤其在文本分类等 NLP 任务中表现显著。
• 可视化结果表明，DropAttack 使损失曲面呈现更平坦且更低的极小值，支持其泛化性能的提升。
• 理论分析证实，DropAttack 通过惩罚掩码输入和权重分量上的大梯度，隐式施加梯度正则化。
• 该方法在无需架构修改或显著超参数调优的情况下，展现出鲁棒性与泛化性能的提升。