[论文解读] Batch Normalization Increases Adversarial Vulnerability: Disentangling Usefulness and Robustness of Model Features

Philipp Benz, Chaoning Zhang+1 more|arXiv (Cornell University)|May 4, 2021

Adversarial Robustness in Machine Learning参考文献 32被引用 12

一句话总结

该论文提出了一种框架，通过基于局部线性的度量LIGS，将深度神经网络特征解耦为鲁棒性（F robustness）和标准有用性（F usefulness）。研究发现，批量归一化通过将模型依赖性转向非鲁棒特征，增加了对抗性脆弱性，这一趋势在各种归一化技术中均得到验证，并通过特征可迁移性和抗干扰鲁棒性分析得到支持。

ABSTRACT

Batch normalization (BN) has been widely used in modern deep neural networks (DNNs) due to fast convergence. BN is observed to increase the model accuracy while at the cost of adversarial robustness. We conjecture that the increased adversarial vulnerability is caused by BN shifting the model to rely more on non-robust features (NRFs). Our exploration finds that other normalization techniques also increase adversarial vulnerability and our conjecture is also supported by analyzing the model corruption robustness and feature transferability. With a classifier DNN defined as a feature set F we propose a framework for disentangling F robust usefulness into F usefulness and F robustness. We adopt a local linearity based metric, termed LIGS, to define and quantify F robustness. Measuring the F robustness with the LIGS provides direct insight on the feature robustness shift independent of usefulness. Moreover, the LIGS trend during the whole training stage sheds light on the order of learned features, \ie from RFs (robust features) to NRFs, or vice versa. Our work analyzes how BN and other factors influence the DNN from the feature perspective. Prior works mainly adopt accuracy to evaluate their influence regarding F usefulness, while we believe evaluating F robustness is equally important, for which our work fills the gap.

研究动机与目标

• 为填补评估深度神经网络特征对抗鲁棒性时仅依赖标准准确率的空白。
• 探究为何尽管批量归一化能提升收敛速度和准确率，却反而增加了对抗性脆弱性。
• 将学习到的特征的鲁棒有用性解耦为有用性和鲁棒性两个独立成分。
• 量化不同归一化技术对模型学习顺序及对鲁棒与非鲁棒特征依赖性的影响。
• 提供一种独立于模型准确率的、可直接量化的特征鲁棒性度量方法。

提出的方法

• 提出一种框架，将DNN的特征集F分解为F usefulness和F robustness两个部分。
• 引入LIGS（局部固有梯度稳定性），一种基于局部线性的度量，用于量化F robustness。
• 利用LIGS在整个训练过程中测量鲁棒性趋势，以推断特征的学习顺序。
• 通过分析特征可迁移性和在干扰下的模型鲁棒性，验证鲁棒性转移假说。
• 将批量归一化与其他归一化技术进行比较，评估其对对抗脆弱性的共同影响。
• 采用分类器DNN作为特征表示F的来源，以分析特征层面的行为。

实验结果

研究问题

• RQ1 批量归一化是否通过将模型依赖性转向非鲁棒特征而增加对抗性脆弱性？
• RQ2 其他归一化技术是否也导致类似的鲁棒性退化，表明这是一种更广泛的现象？
• RQ3 能否使用基于局部线性的度量，对特征鲁棒性进行独立于有用性的定量测量？
• RQ4 特征学习的时间顺序是什么——模型是先学习鲁棒特征，还是非鲁棒特征？
• RQ5 特征鲁棒性与可迁移性及抗干扰鲁棒性之间有何关联？

主要发现

• 通过基于LIGS的鲁棒性分析确认，批量归一化通过使模型更依赖非鲁棒特征（NRFs）而增加了对抗性脆弱性。
• 除批量归一化外，其他归一化技术也增加了对抗性脆弱性，表明这是一种与归一化机制相关的更广泛趋势。
• LIGS能有效量化特征鲁棒性，并揭示鲁棒性变化独立于模型准确率或有用性发生。
• LIGS的训练轨迹显示出清晰趋势：模型首先学习鲁棒特征，随后学习非鲁棒特征，尤其在批量归一化设置下更为明显。
• 特征可迁移性与抗干扰鲁棒性均与基于LIGS的鲁棒性高度相关，验证了该度量的可靠性。
• 本研究证明，评估特征鲁棒性至关重要，且应独立于模型准确率进行，从而填补了DNN评估中的关键空白。