[论文解读] MixACM: Mixup-Based Robustness Transfer via Distillation of Activated Channel Maps

Muhammad Awais, Fengwei Zhou+4 more|arXiv (Cornell University)|Nov 9, 2021

Adversarial Robustness in Machine Learning被引用 9

一句话总结

MixACM 提出了一种知识蒸馏方法，通过匹配从 mixup 增强输入中生成的激活通道图，将对抗性训练教师模型的鲁棒性迁移至学生模型。与标准对抗训练不同，该方法避免了昂贵的迭代对抗攻击，并在计算成本更低、模型更小的情况下实现了更高的鲁棒性和自然准确率。

ABSTRACT

Deep neural networks are susceptible to adversarially crafted, small and imperceptible changes in the natural inputs. The most effective defense mechanism against these examples is adversarial training which constructs adversarial examples during training by iterative maximization of loss. The model is then trained to minimize the loss on these constructed examples. This min-max optimization requires more data, larger capacity models, and additional computing resources. It also degrades the standard generalization performance of a model. Can we achieve robustness more efficiently? In this work, we explore this question from the perspective of knowledge transfer. First, we theoretically show the transferability of robustness from an adversarially trained teacher model to a student model with the help of mixup augmentation. Second, we propose a novel robustness transfer method called Mixup-Based Activated Channel Maps (MixACM) Transfer. MixACM transfers robustness from a robust teacher to a student by matching activated channel maps generated without expensive adversarial perturbations. Finally, extensive experiments on multiple datasets and different learning scenarios show our method can transfer robustness while also improving generalization on natural images.

研究动机与目标

• 解决深度学习中对抗训练带来的高计算成本及性能下降问题。
• 探索通过中间特征匹配而非端到端对抗微调的方式实现鲁棒性知识迁移。
• 在几乎不增加额外计算量且学生训练过程中无需对抗样本的情况下，实现鲁棒性迁移。
• 使用更小的模型和更少的数据，同时提升在自然图像上的鲁棒性和泛化能力。

提出的方法

• 该方法使用 mixup 增广生成插值训练样本，避免了迭代对抗攻击生成的需求。
• 它将鲁棒教师模型的中间激活通道图蒸馏出来，以指导学生模型的特征学习。
• 蒸馏损失最小化教师模型与学生模型在 mixup 样本上的通道级激活图之间的 L2 距离。
• 理论分析表明，学生模型的对抗鲁棒性可由其在 mixup 数据上的自然损失和与教师模型的特征相似性来界定。
• 该方法利用了对抗训练模型在扰动下仍能保持独特、类别特异性通道激活模式的洞察。
• 该方法与标准训练流程兼容，除常规蒸馏外无需额外反向传播步骤。

实验结果

研究问题

• RQ1 是否可以在训练过程中不使用对抗样本的情况下，有效将鲁棒性从教师模型迁移至学生模型？
• RQ2 通过匹配 mixup 增强输入的激活通道图，是否能同时提升鲁棒性和自然准确率？
• RQ3 与标准对抗训练相比，该方法是否能在更小的模型和更少的数据下实现更强的鲁棒性？
• RQ4 通过通道图蒸馏实现的鲁棒性迁移是否具有理论基础，并可在不同数据集和架构间泛化？

主要发现

• 与标准对抗训练相比，MixACM 在 CIFAR-10 和 SVHN 上实现了具有竞争力的鲁棒准确率，且训练成本显著降低。
• 该方法在提升鲁棒性的同时，也提高了自然图像上的干净准确率，打破了对抗训练中常见的准确率权衡。
• 即使学生模型小于教师模型，鲁棒性迁移依然有效，表明其具备强大的泛化能力。
• 实验表明，基于 mixup 样本的蒸馏在鲁棒性和效率方面均优于基于标准数据或对抗扰动数据的蒸馏。
• 理论分析证实，最小化学生模型与教师模型在 mixup 样本上的距离，可界定学生模型的对抗损失。