[论文解读] Confidence Scoring Using Whitebox Meta-models with Linear Classifier Probes

Tongfei Chen, Jiří Navrátil+2 more|arXiv (Cornell University)|May 14, 2018

Machine Learning and Data Classification参考文献 22被引用 14

一句话总结

本文提出了一种白盒元模型框架，通过在深度神经网络主模型的中间层使用线性分类器探测器，生成更优的置信度分数，以过滤低置信度预测。该方法通过利用模型内部表示，在噪声数据和分布外设置下优于基线模型，实现了更高的精确率和不确定性估计的鲁棒性。

ABSTRACT

We propose a novel confidence scoring mechanism for deep neural networks based on a two-model paradigm involving a base model and a meta-model. The confidence score is learned by the meta-model observing the base model succeeding/failing at its task. As features to the meta-model, we investigate linear classifier probes inserted between the various layers of the base model. Our experiments demonstrate that this approach outperforms various baselines in a filtering task, i.e., task of rejecting samples with low confidence. Experimental results are presented using CIFAR-10 and CIFAR-100 dataset with and without added noise. We discuss the importance of confidence scoring to bridge the gap between experimental and real-world applications.

研究动机与目标

• 为解决深度学习模型在安全关键应用中检测并拒绝低置信度预测能力的关键缺陷。
• 通过观察主模型内部状态的线性分类器探测器，改进深度神经网络的置信度估计。
• 通过透明且可解释的元模型架构，提升模型在噪声训练数据和分布外泛化下的鲁棒性。
• 证明主模型中间层特征提供的不确定性信号优于仅使用最终层Softmax输出。

提出的方法

• 采用双模型范式：主模型执行主要分类任务，而元模型观察其内部表征以预测成功或失败。
• 在主模型的多个中间层插入线性分类器探测器，以提取供元模型使用的特征表征。
• 元模型通过将探测器特征作为输入，训练以预测主模型预测是否正确或错误。
• 置信度分数源自元模型的输出，该输出无需为概率，而作为不确定性的标量度量。
• 该方法在CIFAR-10和CIFAR-100数据集上使用ResNet架构进行评估，涵盖有标签噪声和无标签噪声的情况，以及分布偏移条件。
• 通过ROC分析评估模型性能，过滤性能通过在不同置信度阈值下的精确率与召回率权衡进行衡量。

实验结果

研究问题

• RQ1 深度神经网络的中间层特征是否能为置信度评分提供优于最终层输出的信号？
• RQ2 在噪声训练数据条件下，所提出的白盒元模型与黑盒基线模型在过滤低置信度预测方面表现如何？
• RQ3 当主模型遇到分布外测试样本时，元模型是否仍能保持鲁棒性能？
• RQ4 随着标签噪声增加，元模型在不同层上的注意力适应程度如何？

主要发现

• 在噪声训练条件下，白盒元模型与线性探测器显著优于基线模型，尤其在过滤低置信度样本方面。
• 在噪声/噪声场景中，元模型将其注意力从最终层（第17层）转移到第12至16层的更深层、更鲁棒的特征，随着主模型错误率上升，性能得到提升。
• 在域内召回率为0.7时，白盒元模型达到95%的精确率，而基线模型在分布外条件下精确率下降至54%。
• 元模型减少了混淆四象限中的误报和漏报样本，其误分类结果在视觉上更合理，优于基线模型。
• 元模型在噪声和分布偏移下自适应能力的展现，证明其在鲁棒性方面显著优于仅依赖主模型最终Softmax输出的方案。