[论文解读] Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks

Hanxun Huang, Yisen Wang+4 more|arXiv (Cornell University)|Oct 7, 2021

Adversarial Robustness in Machine Learning参考文献 79被引用 31

一句话总结

本文研究 WideResNet 的宽度和深度配置在对抗训练下对对抗鲁棒性的影响，发现降低最后阶段的容量可以提高鲁棒性，并且在固定参数预算下存在一个最优网络结构配置。

ABSTRACT

Deep neural networks (DNNs) are known to be vulnerable to adversarial attacks. A range of defense methods have been proposed to train adversarially robust DNNs, among which adversarial training has demonstrated promising results. However, despite preliminary understandings developed for adversarial training, it is still not clear, from the architectural perspective, what configurations can lead to more robust DNNs. In this paper, we address this gap via a comprehensive investigation on the impact of network width and depth on the robustness of adversarially trained DNNs. Specifically, we make the following key observations: 1) more parameters (higher model capacity) does not necessarily help adversarial robustness; 2) reducing capacity at the last stage (the last group of blocks) of the network can actually improve adversarial robustness; and 3) under the same parameter budget, there exists an optimal architectural configuration for adversarial robustness. We also provide a theoretical analysis explaning why such network configuration can help robustness. These architectural insights can help design adversarially robust DNNs. Code is available at \url{https://github.com/HanxunH/RobustWRN}.

研究动机与目标

• 了解在对抗训练下，结构性选择（深度和宽度）如何影响对抗鲁棒性。
• 识别更多参数是否总能提高鲁棒性，以及在何处降低容量以实现更好的权衡。
• 提供可在 WRN、VGG、DenseNet 和 NAS 派生网络中通用的实用架构指南。

提出的方法

• 在 CIFAR-10 上的对抗训练下，对 WideResNet-34-10 (WRN-34-10) 进行细粒度的宽度和深度配置网格搜索。
• 使用带有 PGD 的对抗性训练（SAT）生成对抗样本，并评估对 PGD-20 的鲁棒性。
• 通过高斯权重网络分析在理论上将 Lipschitz 上界与架构相关联。
• 探索宽度/深度模式以识别鲁棒配置及在其他架构上的可扩展性。

实验结果

研究问题

• RQ1 在 SAT 下，WRN-34-10 的宽度和深度变化如何影响对抗鲁棒性？
• RQ2 在固定参数预算内是否存在最大化鲁棒性的最优架构配置？
• RQ3 在最后阶段降低容量对鲁棒性和 Lipschitz 常数有什么影响？
• RQ4 发现的架构洞见是否可迁移到 VGG、DenseNet 和 NAS 派生的网络等其他架构？
• RQ5 经验性的 Lipschitz 性和扰动稳定性如何与跨配置观察到的鲁棒性相关？

主要发现

• 总体增加模型容量并不一定能在对抗训练下提升鲁棒性。
• 在 WideResNet 的最后阶段（Stage-3）降低容量可以提高对抗鲁棒性，其中减小宽度比减小深度略微更有效。
• 在相同参数预算下，存在一个更高对抗鲁棒性的最优深度/宽度配置。
• 鲁棒性配置规则可迁移到 VGG、DenseNet 和 NAS 派生网络，虽然参数更少，但实现适度的鲁棒性提升。
• 扩展所发现的鲁棒配置（例如 WRN-34-R）可进一步提高鲁棒性，展示容量与 Lipschitz 性之间的权衡。
• 采用最后阶段容量减少时，经验评估显示 Lipschitz 常数降低且扰动稳定性提升。