[论文解读] Adversarially Robust Neural Architectures

Minjing Dong, Yanxi Li+2 more|arXiv (Cornell University)|Sep 2, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用 38

一句话总结

本论文研究神经网络架构设计如何影响对抗性鲁棒性，并提出一种基于学习的架构搜索，结合基于 Lipschitz 的置信度约束，以寻找鲁棒的架构。

ABSTRACT

Deep Neural Networks (DNNs) are vulnerable to adversarial attacks. Existing methods are devoted to developing various robust training strategies or regularizations to update the weights of the neural network. But beyond the weights, the overall structure and information flow in the network are explicitly determined by the neural architecture, which remains unexplored. This paper thus aims to improve the adversarial robustness of the network from the architecture perspective. We explore the relationship among adversarial robustness, Lipschitz constant, and architecture parameters and show that an appropriate constraint on architecture parameters could reduce the Lipschitz constant to further improve the robustness. The importance of architecture parameters could vary from operation to operation or connection to connection. We approximate the Lipschitz constant of the entire network through a univariate log-normal distribution, whose mean and variance are related to architecture parameters. The confidence can be fulfilled through formulating a constraint on the distribution parameters based on the cumulative function. Compared with adversarially trained neural architectures searched by various NAS algorithms as well as efficient human-designed models, our algorithm empirically achieves the best performance among all the models under various attacks on different datasets.

研究动机与目标

• 在 NAS 框架下研究对抗性鲁棒性与网络架构之间的关系。
• 推导架构参数如何影响网络的 Lipschitz 常数。
• 提出一种 Lipschitz 约束的架构搜索，该方法从分布中对架构参数进行采样。
• 引入置信学习，以量化并在搜索中利用架构参数的不确定性。

提出的方法

• 将网络的 Lipschitz 常数近似为架构参数的函数，并推导总体 Lipschitz 常数的界限。
• 通过带有操作和输入权重的可微分单元表示架构，并在单元之间展开 Lipschitz 传播。
• 从多变量对数正态分布中采样架构参数，以实现置信学习。
• 将 Lipschitz 约束表述为使用对数正态近似和置信超参数 η 的累积分布约束。
• 通过 ADMM 解决受约束优化，联合优化权重和架构分布参数。
• 提供一个高效的 NAS 框架（RACL），在多种攻击下与对抗性训练的 NAS 和手工设计模型进行比较。

实验结果

研究问题

• RQ1 神经架构如何通过 Lipschitz 常数影响对抗性鲁棒性？
• RQ2 通过从分布中采样架构参数并施加基于 Lipschitz 的约束，是否能在不进行大量对抗性训练的情况下提升鲁棒性？
• RQ3 置信学习在 NAS 搜索空间中探索鲁棒架构路径的效果是什么？
• RQ4 如何改进可微分的 NAS 框架，以纳入 Lipschitz 约束和架构参数的置信度？

主要发现

• 所提出的框架通过在 NAS 单元中传播 Lipschitz 常数，将鲁棒性与架构联系起来。
• 使用对数正态分布对架构参数进行采样，使搜索具有可微分性和置信感知。
• 推导并通过带有置信度水平 η 的概率（CDF）形式，强制执行一个凸 Lipschitz 约束。
• RACL 在多个数据集和攻击场景下，鲁棒性优于其他 NAS 方法和当前最先进模型。
• 置信学习有助于搜索在探索低置信度选项时偏好具有更高可靠性的架构路径。