[论文解读] Block switching: a stochastic approach for deep learning security

Sang Chin|arXiv (Cornell University)|Feb 18, 2020

Adversarial Robustness in Machine Learning参考文献 21被引用 9

一句话总结

本文提出块切换（Block Switching, BS），一种用于深度学习的随机防御方法，通过在推理时随机选择多个并行层块中的一个来扰乱对抗性攻击。BS通过分散输入梯度提升鲁棒性，在准确率下降最小的同时，对各类攻击类型及其他防御方法均表现出良好兼容性，实现优越的防御性能。

ABSTRACT

Recent study of adversarial attacks has revealed the vulnerability of modern deep learning models. That is, subtly crafted perturbations of the input can make a trained network with high accuracy produce arbitrary incorrect predictions, while maintain imperceptible to human vision system. In this paper, we introduce Block Switching (BS), a defense strategy against adversarial attacks based on stochasticity. BS replaces a block of model layers with multiple parallel channels, and the active channel is randomly assigned in the run time hence unpredictable to the adversary. We show empirically that BS leads to a more dispersed input gradient distribution and superior defense effectiveness compared with other stochastic defenses such as stochastic activation pruning (SAP). Compared to other defenses, BS is also characterized by the following features: (i) BS causes less test accuracy drop; (ii) BS is attack-independent and (iii) BS is compatible with other defenses and can be used jointly with others.

研究动机与目标

• 解决深度学习模型对导致误分类的不可察觉对抗扰动的脆弱性。
• 开发一种对各类攻击类型均鲁棒的防御机制，且无需事先知晓攻击方法。
• 在提升对抗样本鲁棒性的同时，最小化标准测试准确率的下降。
• 设计一种可与现有防御技术兼容的防御方法，以实现集成性能提升。
• 通过并行块结构化引入随机性，以增强梯度分散性并提升模型鲁棒性。

提出的方法

• 用多个并行、相同的子网络（通道）替换模型中的层块，以引入随机性。
• 在推理时随机选择一个活跃通道，使模型行为对攻击者不可预测。
• 在推理时采用均匀随机选择策略激活通道，以确保不可预测性。
• 保持各通道间架构与参数一致，以维持模型容量和训练一致性。
• 将BS设计为模块化组件，可无缝插入现有深度学习模型，无需重构网络架构。
• 利用通道选择的随机性，分散输入梯度分布，降低基于梯度攻击的有效性。

实验结果

研究问题

• RQ1 通过随机块选择引入的随机性是否能提升对对抗性攻击的鲁棒性？
• RQ2 与现有随机防御方法（如随机激活剪枝SAP）相比，块切换在鲁棒性和准确率方面表现如何？
• RQ3 块切换是否能在防御多种攻击的同时保持较高的标准测试准确率？
• RQ4 块切换对白盒和黑盒对抗性攻击是否均有效？
• RQ5 块切换能否与其他防御机制结合，以进一步提升鲁棒性？

主要发现

• 块切换在输入梯度分布更分散方面优于随机激活剪枝（SAP），证明其防御性能更优。
• 与其它随机防御方法相比，BS导致的标准测试准确率下降显著更小，有效保持了模型实用性。
• 该防御在多种攻击类型中均有效，表现出攻击无关性，且无需事先了解攻击方法。
• BS与其他防御技术兼容，可与之结合使用以进一步提升整体鲁棒性。
• 实证结果表明，BS在保持高干净准确率的同时提升了鲁棒性，体现出有利的鲁棒性-准确率权衡。
• 通道选择的随机性破坏了基于梯度攻击的优化过程，使攻击者更难构造出有效扰动。