[论文解读] Confidence estimation in Deep Neural networks via density modelling

Akshayvarun Subramanya, Suraj Srinivas+1 more|arXiv (Cornell University)|Jul 21, 2017

Adversarial Robustness in Machine Learning参考文献 14被引用 33

一句话总结

本文提出了一种基于密度建模的深度神经网络置信度估计方法，相较于传统的Softmax，该方法在图像失真（如噪声、模糊、JPEG压缩及对抗性扰动）下能产生单调递减的置信度分数，而Softmax在此类情况下表现不佳。该方法采用对角高斯模型来估计预测不确定性，展现出更强的鲁棒性，能够有效检测不可靠的预测结果。

ABSTRACT

State-of-the-art Deep Neural Networks can be easily fooled into providing incorrect high-confidence predictions for images with small amounts of adversarial noise. Does this expose a flaw with deep neural networks, or do we simply need a better way to estimate confidence? In this paper we consider the problem of accurately estimating predictive confidence. We formulate this problem as that of density modelling, and show how traditional methods such as softmax produce poor estimates. To address this issue, we propose a novel confidence measure based on density modelling approaches. We test these measures on images distorted by blur, JPEG compression, random noise and adversarial noise. Experiments show that our confidence measure consistently shows reduced confidence scores in the presence of such distortions - a property which softmax often lacks.

研究动机与目标

• 解决深度神经网络中一个关键缺陷：即使在图像失真或对抗性噪声下，Softmax仍会产生过度自信的预测结果。
• 探究是否可通过超越Softmax的密度建模方法来改进置信度估计。
• 开发一种方法，使置信度分数在图像质量下降时呈现可靠且单调递减的特性。
• 在多种失真类型和对抗性样本上评估所提方法，证明其相对于Softmax的鲁棒性。
• 提供实证证据表明，基于密度的置信度估计与模型实际准确率的相关性优于Softmax。

提出的方法

• 将置信度估计建模为密度建模问题，通过概率模型而非Softmax来估计预测分布P(y|X)。
• 将预-Softmax激活值z建模为具有对角协方差的多元高斯分布，从而通过该分布下的似然度实现不确定性估计。
• 将置信度定义为真实类别在所估计高斯模型下的似然度，并在各类别间进行归一化。
• 使用拟合高斯模型下真实类别标签的对数似然度作为置信度表示，确保对输入扰动具有敏感性。
• 使用标准交叉熵损失端到端训练模型，推理阶段再应用密度模型以估计置信度。
• 对置信度分数进行缩放，使干净图像的置信度达到参考值（例如1.0），以利于可视化和比较。

实验结果

研究问题

• RQ1 在图像失真存在的情况下，密度建模能否产生比Softmax更可靠的置信度估计？
• RQ2 随着噪声、模糊或压缩导致图像质量下降，所提方法是否表现出单调递减的置信度特征？
• RQ3 在检测对抗性样本方面，所提置信度度量与Softmax相比表现如何？
• RQ4 为何Softmax无法在扰动下反映置信度下降？这是否可归因于其对激活值尺度的敏感性？
• RQ5 在高维输入空间中，密度模型的选择（如对角高斯分布）在多大程度上影响性能？

主要发现

• 所提基于密度的置信度度量在高斯噪声和模糊程度增加时表现出单调递减趋势，而Softmax即使在高失真下也未能降低置信度。
• 在MNIST数据集上，随着噪声强度从σ = 0增加到σ = 1，所提方法的置信度持续下降，而Softmax的置信度保持高位且极不稳定。
• 在ImageNet上，该方法在高斯模糊（σ = 0至36）下检测到置信度下降，尽管性能一致性不如在MNIST上，表明高维密度估计存在挑战。
• 在JPEG压缩下，Softmax和所提方法的置信度均随质量因子降低而下降，但所提方法的置信度曲线更为可靠。
• 在ImageNet验证集的对抗性样本上，所提方法仅在5,795个样本中有2,214个未能正确降低置信度，而Softmax则全部失败（5,795例），表明性能有显著提升。
• 该方法的未归一化置信度分数从干净图像到失真图像持续下降，而Softmax分数基本保持不变甚至在对抗性样本中上升，尤其明显。