[论文解读] DSRNA: Differentiable Search of Robust Neural Architectures

Ramtin Hosseini, Xingyi Yang+1 more|arXiv (Cornell University)|Dec 11, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用 9

一句话总结

该论文提出 DSRNA，一种可微分神经架构搜索方法，通过显式最大化两种可微分度量——认证下界和雅可比范数下界——来优化模型鲁棒性。实验表明，DSRNA 在 CIFAR-10、ImageNet 和 MNIST 上保持了最先进准确率的同时，对各类对抗攻击展现出更优的鲁棒性，且认证下界显著高于基线方法。

ABSTRACT

In deep learning applications, the architectures of deep neural networks are crucial in achieving high accuracy. Many methods have been proposed to search for high-performance neural architectures automatically. However, these searched architectures are prone to adversarial attacks. A small perturbation of the input data can render the architecture to change prediction outcomes significantly. To address this problem, we propose methods to perform differentiable search of robust neural architectures. In our methods, two differentiable metrics are defined to measure architectures' robustness, based on certified lower bound and Jacobian norm bound. Then we search for robust architectures by maximizing the robustness metrics. Different from previous approaches which aim to improve architectures' robustness in an implicit way: performing adversarial training and injecting random noise, our methods explicitly and directly maximize robustness metrics to harvest robust architectures. On CIFAR-10, ImageNet, and MNIST, we perform game-based evaluation and verification-based evaluation on the robustness of our methods. The experimental results show that our methods 1) are more robust to various norm-bound attacks than several robust NAS baselines; 2) are more accurate than baselines when there are no attacks; 3) have significantly higher certified lower bounds than baselines.

研究动机与目标

• 解决现有 NAS 方法搜索出的神经架构对对抗攻击的脆弱性问题。
• 开发一种可微分 NAS 框架，显式优化鲁棒性，而非依赖对抗训练等隐式防御方法。
• 定义可微分度量，以系统且可扩展的方式量化架构鲁棒性。
• 在多种攻击类型和范数约束下，评估所搜索架构的鲁棒性与准确率。
• 证明鲁棒性可被增强，而不会牺牲干净准确率或显著增加搜索成本。

提出的方法

• 提出两种可微分鲁棒性度量：基于残差块线性松弛的认证下界，以及基于雅可比矩阵行 L2 范数的雅可比范数下界。
• 将这些度量整合进类似 DARTS 的可微分架构搜索框架中，作为优化目标，实现在架构搜索过程中直接最大化鲁棒性。
• 在 DSRNA-Jacobian 中使用一阶泰勒近似，高效计算雅可比范数下界，以换取速度和内存效率的提升。
• 对单个模块应用线性边界技术，并将其组合为整个架构的全局认证边界。
• 采用基于博弈论和基于验证的评估方法，全面评估多种数据集和攻击类型下的鲁棒性。
• 支持与现有可微分 NAS 方法（如 DARTS、PC-DARTS 和 P-DARTS）集成，实现统一且系统的鲁棒化。

实验结果

研究问题

• RQ1 可微分神经架构搜索能否通过可微分度量，被扩展以显式优化对抗鲁棒性？
• RQ2 在鲁棒性保障和计算效率方面，认证下界与雅可比范数下界如何比较？
• RQ3 能否在不牺牲干净准确率或显著增加搜索成本的前提下，搜索出鲁棒架构？
• RQ4 DSRNA 的鲁棒性与现有鲁棒 NAS 基线在多样化对抗攻击下的表现如何？
• RQ5 所搜索的架构在多大程度上可迁移至 ImageNet 等更大规模数据集？

主要发现

• 在 CIFAR-10 上，DSRNA-CB 和 DSRNA-Jacobian 在 l2 和 linfty 范数下均实现了高于所有基线的认证下界，证明了更强的理论鲁棒性保障。
• 在 PGD、FGSM 和 C&W 攻击下，DSRNA 方法在所有攻击类型中均优于 RobNet、SDARTS-ADV 和 PC-DARTS-ADV 的鲁棒准确率。
• 在无攻击场景下，DSRNA 的准确率与 ASAP 相当，显著高于 RobNet，表明鲁棒性与干净准确率之间无权衡。
• DSRNA-Jacobian 比 DSRNA-CB 快 10 倍且内存效率更高，仅带来轻微鲁棒性损失，适用于大规模搜索。
• 在 ImageNet 上，DSRNA 方法在所有攻击下均保持高鲁棒性，显著优于 RobNet，且在 FGSM 和 PGD 攻击下的准确率与 SDARTS-ADV 和 PC-DARTS-ADV 相当或更优。
• 在 MNIST 上，DSRNA 方法在 C&W 攻击下显著优于 RobNet-large 和 SDARTS-ADV，且在 PGD 和 FGSM 攻击下表现相当，同时干净准确率高于 RobNet-large。