[论文解读] Entropy methods for the confidence assessment of probabilistic classification models

Gabriele Nunzio Tornetta|arXiv (Cornell University)|Mar 28, 2021

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文引入基于熵的度量方法以评估概率分类模型的置信度，提出一种在 0 到 1 之间有界的归一化熵得分，用于量化预测置信度。理论上解释了互补朴素贝叶斯模型中观察到的置信度下降现象，表明其概率分布趋向于均匀分布，并通过在文本分类任务中使用准确率与熵、纯度图的实证验证了该现象。

ABSTRACT

Many classification models produce a probability distribution as the outcome of a prediction. This information is generally compressed down to the single class with the highest associated probability. In this paper, we argue that part of the information that is discarded in this process can be in fact used to further evaluate the goodness of models, and in particular the confidence with which each prediction is made. As an application of the ideas presented in this paper, we provide a theoretical explanation of a confidence degradation phenomenon observed in the complement approach to the (Bernoulli) Naive Bayes generative model.

研究动机与目标

• 解决标准评估指标在捕捉准确率和类别预测之外的模型置信度方面的局限性。
• 通过熵形式化定义一个 [0,1] 有界置信度度量，反映预测概率分布的锐度。
• 为互补朴素贝叶斯模型相比标准朴素贝叶斯变体出现的置信度下降现象提供理论解释。
• 展示熵和纯度得分在识别既准确又具有高置信度预测的模型中的实用性。
• 在实际应用中支持决策，特别是在基于阈值的推理规则下，高置信度预测至关重要。

提出的方法

• 定义归一化熵得分 $ H_{\text{norm}}[p] = \frac{H[p]}{\log n} $，其中 $ H[p] = -\sum_{c \in C} p(c) \log p(c) $，以在 [0,1] 尺度上量化预测置信度。
• 将熵得分用作准确率相近的模型之间的选择依据，优先选择熵更低（预测置信度更高）的模型。
• 将熵得分应用于分析互补朴素贝叶斯模型，表明其由于训练目标导致概率分布更趋近于均匀分布。
• 通过准确率与熵得分、准确率与纯度的散点图比较模型，其中纯度衡量最大预测概率。
• 对训练数据应用基于阈值的过滤，以控制类别数量，并评估准确率与置信度之间的权衡。
• 在三个数据集上验证结果：20 Newsgroups（平衡与非平衡）、Wikipedia Movie Plots，采用一致的评估协议。

实验结果

研究问题

• RQ1 为何互补朴素贝叶斯模型在实现高准确率的同时仍产生较低置信度的预测？
• RQ2 基于熵的度量是否能有效捕捉并量化概率分类器的置信度，超越标准准确率？
• RQ3 熵和纯度得分如何与基于阈值的预测系统中的模型性能和决策可靠性相关联？
• RQ4 当多个模型的准确率相近时，熵得分在多大程度上可作为实用的模型选择工具？
• RQ5 互补朴素贝叶斯模型产生更均匀概率分布的理论基础是什么？

主要发现

• 互补朴素贝叶斯模型即使在准确率相当或更优的情况下，其置信度得分显著低于标准朴素贝叶斯变体（熵更高）。
• 熵得分图显示，互补朴素贝叶斯模型聚集在 [0,1] 范围的中间区域，表明其置信度为中等偏低，而其他模型则表现出更高的预测置信度。
• 纯度图确认，互补朴素贝叶斯模型的预测最大概率较低，处于纯度-准确率空间的下中部区域。
• 理论分析表明，互补朴素贝叶斯的目标函数本质上会促进概率分布的均匀性，从而解释了观察到的置信度下降现象。
• 对训练数据进行基于阈值的过滤表明，更高的阈值（类别更少）会提高准确率，同时也会提高置信度，凸显了模型范围与可靠性之间的权衡。
• 熵得分提供了一种实用且可解释的度量方法，用于识别既准确又可靠高置信度的模型，尤其适用于需要高置信度决策的应用场景。