[论文解读] Towards Compact and Robust Deep Neural Networks

Vikash Sehwag, Shiqi Wang+2 more|arXiv (Cornell University)|Jun 14, 2019

Adversarial Robustness in Machine Learning参考文献 57被引用 22

一句话总结

本文提出了一种新颖的剪枝框架，在模型压缩过程中同时保持了良性准确率与鲁棒性。通过将预训练和微调目标与对抗鲁棒性对齐，并采用与鲁棒性无关的剪枝策略，该方法在CIFAR-10数据集上实现了10倍压缩下的93%良性准确率、92.5%实际鲁棒准确率以及85%可验证鲁棒准确率。

ABSTRACT

Deep neural networks have achieved impressive performance in many applications but their large number of parameters lead to significant computational and storage overheads. Several recent works attempt to mitigate these overheads by designing compact networks using pruning of connections. However, we observe that most of the existing strategies to design compact networks fail to preserve network robustness against adversarial examples. In this work, we rigorously study the extension of network pruning strategies to preserve both benign accuracy and robustness of a network. Starting with a formal definition of the pruning procedure, including pre-training, weights pruning, and fine-tuning, we propose a new pruning method that can create compact networks while preserving both benign accuracy and robustness. Our method is based on two main insights: (1) we ensure that the training objectives of the pre-training and fine-tuning steps match the training objective of the desired robust model (e.g., adversarial robustness/verifiable robustness), and (2) we keep the pruning strategy agnostic to pre-training and fine-tuning objectives. We evaluate our method on four different networks on the CIFAR-10 dataset and measure benign accuracy, empirical robust accuracy, and verifiable robust accuracy. We demonstrate that our pruning method can preserve on average 93\% benign accuracy, 92.5\% empirical robust accuracy, and 85.0\% verifiable robust accuracy while compressing the tested network by 10$ imes$.

研究动机与目标

• 解决现有网络剪枝方法在模型压缩过程中无法保持对抗鲁棒性的缺陷。
• 探究在对鲁棒预训练网络进行剪枝后，使用自然训练目标进行微调是否能够维持鲁棒性。
• 评估对预训练鲁棒网络进行剪枝是否优于从零开始训练紧凑网络。
• 分析剪枝对鲁棒性的影响，且不进行微调，识别标准剪枝流程中的失败模式。
• 证明在预训练、剪枝和微调阶段对齐训练目标对于在压缩下保持鲁棒性至关重要。

提出的方法

• 提出一种结构化的剪枝流程，包括预训练、迭代剪枝和微调，重点在于目标对齐。
• 将微调目标与预训练阶段使用的对抗鲁棒性或可验证鲁棒性目标对齐。
• 采用基于权重大小的剪枝，但将剪枝策略与训练目标解耦，使其与鲁棒性无关。
• 同时采用非结构化和结构化剪枝，以评估不同压缩模式下的泛化性能。
• 在预训练阶段应用鲁棒训练技术（如MixTrain），以确保剪枝前已具备初始鲁棒性。
• 使用自然训练或鲁棒训练目标对剪枝后的网络进行微调，以评估鲁棒性的保持情况。

实验结果

研究问题

• RQ1 在对鲁棒预训练网络应用标准权重大小剪枝时，是否能保持对抗鲁棒性？
• RQ2 在对鲁棒预训练模型进行剪枝后，使用自然训练目标进行微调是否能保持鲁棒性？
• RQ3 在压缩过程中，预训练与微调目标对齐对鲁棒性保持有何影响？
• RQ4 与从零开始训练紧凑网络相比，基于剪枝的压缩在鲁棒性与准确率方面表现如何？
• RQ5 在高倍压缩比（如10倍）下，该方法在多大程度上能够保持鲁棒性？

主要发现

• 在不进行微调的情况下，随着剪枝比例增加，对抗鲁棒性下降的程度与良性准确率相似，表明鲁棒性并非本质上更脆弱。
• 使用自然微调的标准剪枝方法因预训练与微调阶段目标不匹配，导致鲁棒性无法保持。
• 当微调使用与预训练阶段匹配的鲁棒目标时，剪枝后的网络在10倍压缩下仍保持92.5%的实际鲁棒准确率和85.0%的可验证鲁棒准确率。
• 该方法在10倍压缩下平均保持93%的良性准确率，展示了极高的紧凑性且准确率下降极小。
• 结构化剪枝在10倍压缩下实现84.3%的良性准确率、90.4%的实际鲁棒准确率和73.8%的可验证鲁棒准确率。
• 与从零开始训练紧凑模型相比，该剪枝方法在良性准确率上最高提升10%，在鲁棒准确率上提升3.8%，尤其在高鲁棒性约束条件下优势显著。