[论文解读] Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are Found within Randomly Initialized Networks

Yonggan Fu, Qixuan Yu+5 more|arXiv (Cornell University)|Oct 26, 2021

Adversarial Robustness in Machine Learning被引用 7

一句话总结

该论文发现，在未经任何训练的随机初始化深度神经网络中，存在具有内在鲁棒性的子网络——称为鲁棒原始票证（RSTs）。这些RSTs实现的鲁棒准确率与经过对抗训练的模型相当或更优，而一种新颖的随机RST切换（R2S）技术通过在RSTs之间动态切换，进一步提升了鲁棒性，提供了一种参数高效的防御策略。

ABSTRACT

Deep Neural Networks (DNNs) are known to be vulnerable to adversarial attacks, i.e., an imperceptible perturbation to the input can mislead DNNs trained on clean images into making erroneous predictions. To tackle this, adversarial training is currently the most effective defense method, by augmenting the training set with adversarial samples generated on the fly. Interestingly, we discover for the first time that there exist subnetworks with inborn robustness, matching or surpassing the robust accuracy of the adversarially trained networks with comparable model sizes, within randomly initialized networks without any model training, indicating that adversarial training on model weights is not indispensable towards adversarial robustness. We name such subnetworks Robust Scratch Tickets (RSTs), which are also by nature efficient. Distinct from the popular lottery ticket hypothesis, neither the original dense networks nor the identified RSTs need to be trained. To validate and understand this fascinating finding, we further conduct extensive experiments to study the existence and properties of RSTs under different models, datasets, sparsity patterns, and attacks, drawing insights regarding the relationship between DNNs' robustness and their initialization/overparameterization. Furthermore, we identify the poor adversarial transferability between RSTs of different sparsity ratios drawn from the same randomly initialized dense network, and propose a Random RST Switch (R2S) technique, which randomly switches between different RSTs, as a novel defense method built on top of RSTs. We believe our findings about RSTs have opened up a new perspective to study model robustness and extend the lottery ticket hypothesis.

研究动机与目标

• 探究在未经任何训练的随机初始化深度神经网络中，是否存在具有鲁棒性的子网络。
• 理解模型初始化、过参数化与DNN中内在鲁棒性之间的关系。
• 开发一种利用未训练模型中子网络内在鲁棒性的实用防御机制。
• 探索鲁棒子网络在不同数据集和稀疏度水平下的可迁移性与效率。
• 提出一种新颖的防御技术——随机RST切换（R2S），通过在RSTs之间动态切换来增强鲁棒性。

提出的方法

• 通过基于大小的剪枝从未训练的密集网络中识别子网络（RSTs），无需任何模型训练。
• 在多个数据集和架构上，使用标准对抗攻击（如PGD、Auto-Attack）评估RSTs的鲁棒性。
• 提出随机RST切换（R2S）技术，推理过程中在多个RSTs之间随机切换以提升鲁棒性。
• 使用变换期望（EOT）和基于集成的攻击，评估R2S对自适应攻击者的鲁棒性。
• 将RSTs与经过对抗训练的子网络（对抗性RTTs）进行比较，以评估其可迁移性与参数效率。
• 在模型、数据集、稀疏度模式和攻击类型上进行广泛的消融研究，以验证RSTs的一致性与特性。

实验结果

研究问题

• RQ1 在未经任何训练的随机初始化深度神经网络中，是否存在具有内在鲁棒性的子网络？
• RQ2 RSTs的鲁棒性与具有相似模型规模的对抗训练模型相比如何？
• RQ3 网络初始化、过参数化与鲁棒子网络出现之间的关系是什么？
• RQ4 RSTs在不同稀疏度比率和数据集之间的可迁移性如何？这是否影响其鲁棒性？
• RQ5 与静态模型相比，RSTs之间的动态切换能否显著提升对抗鲁棒性？

主要发现

• 从随机初始化的ResNet101中识别出的RSTs，在ε=2和ε=4时，分别比对抗训练的ResNet18高出3.56%和4.31%的鲁棒准确率。
• 在CIFAR-10上，R2S在PGD-20攻击下比对抗训练模型高出13.74%至15.28%的鲁棒准确率。
• 即使在自适应攻击（EOT和基于集成的攻击）下，R2S仍比对抗训练模型保持7.40%至9.83%更高的鲁棒准确率。
• RSTs在不同稀疏度比率之间表现出较差的对抗迁移性，这使其成为设计有效R2S防御的基础。
• 在CIFAR-100上，RSTs比迁移的对抗性RTTs高出1.68%的鲁棒准确率，展现出更优的参数效率和鲁棒性。
• 同一随机初始化的密集网络可作为多个任务的共享主干网络，通过二值掩码紧凑存储特定任务的RSTs，实现高效部署。