[论文解读] LiBRe: A Practical Bayesian Approach to Adversarial Detection

Zhijie Deng, Xiao Yang+3 more|ArXiv.org|Mar 27, 2021

Adversarial Robustness in Machine Learning参考文献 67被引用 7

一句话总结

LiBRe 提出了一种轻量级贝叶斯精炼方法，通过仅将最后几层转换为多层深度集成变分贝叶斯网络，使预训练的深度神经网络具备对抗性检测能力。该方法在多种攻击下实现了最先进水平的检测性能，计算开销极低，通过预训练、微调和不确定性正则化，在不引入对抗性样本的情况下，保持了高预测准确率和高效的推理速度。

ABSTRACT

Despite their appealing flexibility, deep neural networks (DNNs) are vulnerable against adversarial examples. Various adversarial defense strategies have been proposed to resolve this problem, but they typically demonstrate restricted practicability owing to unsurmountable compromise on universality, effectiveness, or efficiency. In this work, we propose a more practical approach, Lightweight Bayesian Refinement (LiBRe), in the spirit of leveraging Bayesian neural networks (BNNs) for adversarial detection. Empowered by the task and attack agnostic modeling under Bayes principle, LiBRe can endow a variety of pre-trained task-dependent DNNs with the ability of defending heterogeneous adversarial attacks at a low cost. We develop and integrate advanced learning techniques to make LiBRe appropriate for adversarial detection. Concretely, we build the few-layer deep ensemble variational and adopt the pre-training & fine-tuning workflow to boost the effectiveness and efficiency of LiBRe. We further provide a novel insight to realise adversarial detection-oriented uncertainty quantification without inefficiently crafting adversarial examples during training. Extensive empirical studies covering a wide range of scenarios verify the practicability of LiBRe. We also conduct thorough ablation studies to evidence the superiority of our modeling and learning strategies.

研究动机与目标

• 解决现有对抗性防御方法在通用性、有效性或效率方面存在的局限性。
• 在不从头开始重新训练的情况下，实现在预训练的任务特定 DNN 中的实用对抗性检测。
• 在保持预测性能和推理速度的同时，改进用于对抗性检测的贝叶斯不确定性估计。
• 通过引入一种新颖的不确定性校正策略，消除训练过程中对抗性样本构造的需求。

提出的方法

• 提出少层深度集成（FADE），一种仅在 DNN 最后几层应用深度集成的变分贝叶斯方法，同时在早期层保留确定性权重。
• 采用预训练与微调范式，使用预训练的确定性权重初始化 FADE，以加速收敛并提升后验质量。
• 在 FADE 中应用注入随机性的学习原则，以促进多样化的函数模式并减少梯度方差。
• 引入不确定性正则化（R），在不依赖手工构造的对抗性样本的情况下，校正预测不确定性以实现对抗性检测。
• 使用实例级的期望对数似然（L*）的随机估计，而非批量级的蒙特卡洛（MC）估计，以提升训练稳定性和不确定性校准。
• 利用特征方差作为不确定性度量，相比 Softmax 方差，对检测分布外和对抗性输入更具鲁棒性。

Figure 1 : Given a pre-trained DNN, LiBRe converts its last few layers (excluding the task-dependent output head) to be Bayesian, and reuses the pre-trained parameters. Then, LiBRe launches several-round adversarial detection-oriented fine-tuning to render the posterior effective for prediction and

实验结果

研究问题

• RQ1 贝叶斯精炼方法是否能在多种任务和攻击下同时实现高效与有效？
• RQ2 如何在不依赖训练期间引入对抗性样本的情况下，改进用于对抗性检测的贝叶斯不确定性？
• RQ3 使用特征方差而非 Softmax 方差是否能带来更好的对抗性检测性能？
• RQ4 不确定性正则化（R）和实例级似然估计（L*）在多大程度上提升了检测质量？
• RQ5 轻量级贝叶斯方法是否能在保持高预测准确率的同时实现实时对抗性检测？

主要发现

• 在 FGSM、C&W、PGD 和 DIM 攻击下，LiBRe 的 AUROC 分别达到 1.000、0.985、0.994 和 1.000，优于所有基线方法。
• 在 COCO 目标检测任务中，LiBRe 在保持 mAP@.5 和 mAP@.5:.95 分别为 0.545 和 0.344 的同时，对四种攻击类型的 AUROC 达到 0.957–0.972。
• LiBRe 的推理速度仅比确定性推理（MAP）略慢，在 RTX 2080 Ti 上每批 32 张图像的推理时间约为 1.2 秒，支持实时部署。
• 可视化结果表明，FADE 后验在不同集成成员之间表现出高度多样性，表明未出现模式坍塌现象。
• 消融实验显示，Softmax 方差的检测性能显著差于特征方差（AUROC ~0.01–0.76），后者对扰动更具鲁棒性。
• 移除不确定性正则化（R）或使用批量级 MC 估计（L）会使检测 AUROC 最多降低 50%，证实了这些组件的重要性。

Figure 2 : The histograms for the feature variance uncertainty of normal and adversarial examples given by LiBRe or the baselines.