[论文解读] Discovering Robust Convolutional Architecture at Targeted Capacity: A Multi-Shot Approach

Xuefei Ning, Junbo Zhao+5 more|arXiv (Cornell University)|Dec 22, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用 5

一句话总结

该论文提出了一种多射线神经架构搜索（NAS）方法，可在特定FLOPs预算下发现对抗性鲁棒的卷积神经网络架构。通过利用不同容量超网络的插值奖励，该方法克服了一次性NAS中的容量错配问题，实现了针对鲁棒模型的定向搜索。MSRobNet-2000在鲁棒性上比RobNet-large高出4%-7%，而MSRobNet-1560在干净样本和PGD-7准确率上分别超越RobNet-free 2.3%和1.3%。

ABSTRACT

Convolutional neural networks (CNNs) are vulnerable to adversarial examples, and studies show that increasing the model capacity of an architecture topology (e.g., width expansion) can bring consistent robustness improvements. This reveals a clear robustness-efficiency trade-off that should be considered in architecture design. In this paper, considering scenarios with capacity budget, we aim to discover adversarially robust architecture at targeted capacities. Recent studies employed one-shot neural architecture search (NAS) to discover robust architectures. However, since the capacities of different topologies cannot be aligned in the search process, one-shot NAS methods favor topologies with larger capacities in the supernet. And the discovered topology might be suboptimal when augmented to the targeted capacity. We propose a novel multi-shot NAS method to address this issue and explicitly search for robust architectures at targeted capacities. At the targeted FLOPs of 2000M, the discovered MSRobNet-2000 outperforms the recent NAS-discovered architecture RobNet-large under various criteria by a large margin of 4%-7%. And at the targeted FLOPs of 1560M, MSRobNet-1560 surpasses another NAS-discovered architecture RobNet-free by 2.3% and 1.3% in the clean and PGD-7 accuracies, respectively. All codes are available at https://github.com/walkerning/aw\_nas.

研究动机与目标

• 解决在固定容量预算下卷积神经网络架构设计中的鲁棒性-效率权衡问题。
• 克服一次性NAS中的容量错配问题，即由于超网络容量不平衡，导致更大拓扑结构更受青睐。
• 通过显式建模宽度扩展效应，实现在特定FLOPs（如1560M、2000M）下的对抗鲁棒架构的定向搜索。
• 通过使用FGSM作为鲁棒性评估的可靠代理，提升搜索效率。
• 验证多射线奖励估计能够弥合超网络性能与目标容量下最终模型性能之间的差距。

提出的方法

• 构建多个初始通道数不同的超网络（如24、44、64），以代表不同模型容量。
• 利用每个超网络的一次性奖励，通过插值或外推方法估计每种架构的多射线奖励。
• 采用对数幂函数族进行函数外推，以建模宽度扩展对鲁棒性的影响。
• 使用基于FGSM的奖励作为快速且可靠的代理，替代更精确的鲁棒性度量（如PGD-20和PGD-100）。
• 使用多射线估计奖励执行NAS，以发现针对目标FLOPs优化的架构。
• 通过留一法（LOO）排名相关性验证方法，确保多射线奖励与真实鲁棒性高度相关。

实验结果

研究问题

• RQ1 在目标FLOPs下搜索鲁棒架构时，多射线NAS能否有效缓解一次性NAS中的容量错配问题？
• RQ2 使用FGSM作为代理奖励是否能与更精确的鲁棒性标准（如PGD-20和PGD-100）保持一致的排名？
• RQ3 多射线奖励估计策略能否弥合超网络评估性能与宽度扩展后最终模型性能之间的差距？
• RQ4 与一次性NAS和人工架构设计相比，该方法在固定FLOPs预算下的鲁棒性表现如何？
• RQ5 所发现的架构是否能在CIFAR-100、SVHN和Tiny-ImageNet等不同数据集上实现良好泛化？

主要发现

• 在2000M FLOPs下，MSRobNet-2000实现31.6%的PGD-100准确率，在多种鲁棒性指标上比RobNet-large高出4%-7%。
• 在1560M FLOPs下，MSRobNet-1560实现31.7%的PGD-20准确率和31.5%的PGD-100准确率，分别在干净样本和PGD-100准确率上超越RobNet-free 2.3%和1.3%。
• 多射线奖励估计策略的LOO排名相关性（τj）高于其他超网络的一次性奖励，证实其具备弥合容量差距的能力。
• 基于迁移的黑盒攻击表明，MSRobNets比基线模型更难被迁移，表明其具备更强的鲁棒性。
• 基于预测器的搜索使用多射线奖励仅耗时1.3 GPU天，便发现了优于相同目标容量下一次性NAS所发现架构的拓扑结构。
• 函数族选择结果表明，对数幂函数在LOO相关性上表现最佳，验证了其在建模宽度扩展效应方面的适用性。