[论文解读] Disrupting Deep Uncertainty Estimation Without Harming Accuracy

Ido Galil, Ran El‐Yaniv|arXiv (Cornell University)|Oct 26, 2021

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出 ACE（置信度估计攻击），一种新颖的、低幅度扰动攻击，可在不降低分类准确率的情况下破坏深度神经网络的不确定性估计。通过将正确预测轻微移向决策边界，同时将错误预测进一步推离边界，ACE 使模型对错误分类产生过度自信，同时保持原始标签不变，严重损害了 Softmax、MC-Dropout、深度集成（Deep Ensembles）和 SelectiveNet 的可靠性。

ABSTRACT

Deep neural networks (DNNs) have proven to be powerful predictors and are widely used for various tasks. Credible uncertainty estimation of their predictions, however, is crucial for their deployment in many risk-sensitive applications. In this paper we present a novel and simple attack, which unlike adversarial attacks, does not cause incorrect predictions but instead cripples the network's capacity for uncertainty estimation. The result is that after the attack, the DNN is more confident of its incorrect predictions than about its correct ones without having its accuracy reduced. We present two versions of the attack. The first scenario focuses on a black-box regime (where the attacker has no knowledge of the target network) and the second scenario attacks a white-box setting. The proposed attack is only required to be of minuscule magnitude for its perturbations to cause severe uncertainty estimation damage, with larger magnitudes resulting in completely unusable uncertainty estimations. We demonstrate successful attacks on three of the most popular uncertainty estimation methods: the vanilla softmax score, Deep Ensembles and MC-Dropout. Additionally, we show an attack on SelectiveNet, the selective classification architecture. We test the proposed attack on several contemporary architectures such as MobileNetV2 and EfficientNetB0, all trained to classify ImageNet.

研究动机与目标

• 揭示深度不确定性估计方法中一种新漏洞：该漏洞不影响模型准确率，但严重破坏置信度校准。
• 开发一种黑盒与白盒攻击，利用难以察觉的扰动操纵不确定性分数。
• 证明广泛使用的不确定性估计技术——Softmax、MC-Dropout、Deep Ensembles 和 SelectiveNet——对这类攻击高度敏感。
• 表明即使极小的扰动（ε = 0.005）也能显著增加选择性风险，使不确定性估计在实践中完全失效。
• 激发未来对鲁棒不确定性估计及此类攻击检测机制的研究。

提出的方法

• ACE 构建对抗性扰动，将正确预测样本向决策边界轻微移动，同时将错误分类样本进一步推离边界，且不改变预测结果。
• 该攻击在黑盒（查询式）和白盒（依赖模型架构）两种设置下运行，仅使用模型的置信度分数作为反馈。
• 对于基于 Softmax 的不确定性估计，攻击通过在模型输出 logits 上进行基于梯度的优化，直接操纵置信度分数。
• 对于使用 MC-Dropout 或 Deep Ensembles 的模型，攻击通过扰动输入特征来针对集成或基于 Dropout 的置信度估计。
• 对于 SelectiveNet，攻击根据攻击变体，分别针对选择器头或用作选择器输入的 Softmax 分数。
• 扰动通过损失函数进行优化，以最大化选择性风险，同时保持原始预测不变并最小化扰动幅度。

实验结果

研究问题

• RQ1 能否设计一种扰动攻击，在不改变模型准确率或预测标签的前提下，降低不确定性估计性能？
• RQ2 该攻击在不同不确定性估计方法（包括 Softmax、MC-Dropout、Deep Ensembles 和 SelectiveNet）中的有效性如何？
• RQ3 该攻击在黑盒与白盒设置下是否仍有效，且扰动幅度极小？
• RQ4 该攻击对选择性分类性能的影响如何，特别是在选择性风险与覆盖率方面？
• RQ5 某些不确定性估计方法是否比其他方法对这类攻击更具鲁棒性？

主要发现

• ACE 在所有测试方法（Softmax、MC-Dropout、Deep Ensembles 和 SelectiveNet）中均成功破坏了不确定性估计，且未改变原始预测结果。
• 当 ε = 0.005 时，基于 VGG16 主干网络的 SelectiveNet 的选择性风险从干净样本下的 0.0067 上升至 0.0829，表明非拒绝预测的风险增加了 12 倍。
• 对于基于 ResNet18 的 SelectiveNet，直接攻击下选择性风险从 0.0012 上升至 0.0747，表明在极小扰动下风险增加了 62 倍。
• 通过 Softmax 分数的间接攻击比直接攻击选择器头更具破坏性，VGG16 情况下选择性风险上升至 0.0829，而直接攻击仅升至 0.0772。
• 即使在 ε = 0.0005 时，选择性风险也显著上升（例如，ResNet18 下从 0.0012 上升至 0.0059），表明损伤可发生在亚像素级扰动水平。
• 该攻击导致可靠性急剧下降：模型对错误预测的置信度甚至高于对正确预测的置信度，严重削弱了对不确定性感知系统的信任。