[论文解读] Binary Classifier Calibration: Non-parametric approach

Mahdi Pakdaman Naeini, Gregory F. Cooper+1 more|arXiv (Cornell University)|Jan 14, 2014

Bayesian Methods and Mixture Models参考文献 13被引用 3

一句话总结

本文提出了一种用于校准二分类器的非参数直方图分箱方法，理论上证明了其在大样本极限下可实现完美校准，同时保持或提升判别性能（AUC）。该方法将分箱视为基于密度的非参数分类器，并通过核密度估计进行扩展，其在合成数据集和真实数据集上的表现优于或匹配现有校准技术。

ABSTRACT

Accurate calibration of probabilistic predictive models learned is critical for many practical prediction and decision-making tasks. There are two main categories of methods for building calibrated classifiers. One approach is to develop methods for learning probabilistic models that are well-calibrated, ab initio. The other approach is to use some post-processing methods for transforming the output of a classifier to be well calibrated, as for example histogram binning, Platt scaling, and isotonic regression. One advantage of the post-processing approach is that it can be applied to any existing probabilistic classification model that was constructed using any machine-learning method. In this paper, we first introduce two measures for evaluating how well a classifier is calibrated. We prove three theorems showing that using a simple histogram binning post-processing method, it is possible to make a classifier be well calibrated while retaining its discrimination capability. Also, by casting the histogram binning method as a density-based non-parametric binary classifier, we can extend it using two simple non-parametric density estimation methods. We demonstrate the performance of the proposed calibration methods on synthetic and real datasets. Experimental results show that the proposed methods either outperform or are comparable to existing calibration methods.

研究动机与目标

• 为了从理论上证明二分类器后处理校准方法（特别是直方图分箱）是一种有效且合理的方法。
• 为了表明直方图分箱在大样本极限下可实现完美校准，且不会降低判别性能（AUC）。
• 为了利用非参数密度估计技术扩展直方图分箱，以提高校准的鲁棒性。
• 为了提供一种模型无关的方法，可适用于任何预训练的概率分类器。
• 为了通过实证结果表明，所提出的方法在显著改善校准效果的同时，保持或增强AUC性能。

提出的方法

• 该方法使用等频直方图分箱将分类器输出分组，为每个分箱分配基于该分箱内正样本实际频率的校准概率。
• 它将直方图分箱重新解释为基于密度的非参数二分类器，从而可与核密度估计结合，实现更平滑的概率估计。
• 理论分析证明，在独立同分布假设下，校准引入的AUC损失被限制在O(1/B)以内，其中B为分箱数。
• 该方法利用集中不等式和切比雪夫求和不等式，对AUC最差情况下的退化程度进行上界约束。
• 该方法可后处理应用于任何现有分类器，无需修改原始学习算法。
• 它采用经验风险最小化原则，确保校准的同时保留原始模型的判别能力。

实验结果

研究问题

• RQ1 非参数后处理方法（如直方图分箱）是否可在大样本极限下实现完美校准？
• RQ2 直方图分箱在进行校准时是否能保持或提升原始分类器的AUC？
• RQ3 所提出的方法与参数化校准技术（如Platt缩放和等倾回归）相比表现如何？
• RQ4 是否可利用非参数密度估计技术扩展直方图分箱以提升校准质量？
• RQ5 校准过程引入的AUC损失的理论上限是多少？

主要发现

• 所提出的直方图分箱方法在大样本极限下可实现完美校准，且具有校准质量的理论保证。
• 校准引入的AUC损失被限制在O(1/B)以内，其中B为分箱数，确保判别性能的最小退化。
• 实证结果表明，该方法在合成数据集和真实数据集上均优于或匹配现有校准技术。
• 在某些情况下（如应用于线性SVM时），该方法可保持甚至提升AUC，表明存在AUC增益的潜力。
• 理论分析确认该方法不会降低AUC，且在多数情况下AUC保持不变或有所提升。
• 通过核密度估计进行扩展后，校准性能得到提升，相比标准分箱方法，其概率估计更加平滑。