[论文解读] Evaluating Probabilistic Classifiers: The Triptych

Timo Dimitriadis, Tilmann Gneiting+2 more|arXiv (Cornell University)|Jan 25, 2023

Forecasting Techniques and ApplicationsDecision Sciences被引用 3

一句话总结

本文引入了三种诊断图形——可靠性图、ROC曲线和Murphy图——用于评估概率分类器，实现了对校准性、判别能力和整体预测性能的全面评估。其核心贡献是一个理论基础坚实的框架，通过将评分分解为校准偏差、判别能力和不确定性三个分量，将这些工具联系起来，且在预测校准的情况下，各类指标的排序结果一致。

ABSTRACT

Probability forecasts for binary outcomes, often referred to as probabilistic classifiers or confidence scores, are ubiquitous in science and society, and methods for evaluating and comparing them are in great demand. We propose and study a triptych of diagnostic graphics that focus on distinct and complementary aspects of forecast performance: The reliability diagram addresses calibration, the receiver operating characteristic (ROC) curve diagnoses discrimination ability, and the Murphy diagram visualizes overall predictive performance and value. A Murphy curve shows a forecast's mean elementary scores, including the widely used misclassification rate, and the area under a Murphy curve equals the mean Brier score. For a calibrated forecast, the reliability curve lies on the diagonal, and for competing calibrated forecasts, the ROC and Murphy curves share the same number of crossing points. We invoke the recently developed CORP (Consistent, Optimally binned, Reproducible, and Pool-Adjacent-Violators (PAV) algorithm based) approach to craft reliability diagrams and decompose a mean score into miscalibration (MCB), discrimination (DSC), and uncertainty (UNC) components. Plots of the DSC measure of discrimination ability versus the calibration metric MCB visualize classifier performance across multiple competitors. The proposed tools are illustrated in empirical examples from astrophysics, economics, and social science.

研究动机与目标

• 为解决在多个性能维度上缺乏统一、理论基础坚实的概率分类器评估框架的问题。
• 通过提出一套互补的三联诊断图形，解决在多种评估指标之间进行选择的挑战。
• 基于PAV算法的CORP方法，提供一种一致且可复现的校准性评估方法。
• 在预测校准的假设下，建立锐度、判别能力与正确评分规则表现之间的理论等价性。
• 使实践者能够通过结合可靠性、判别能力和整体评分表现，对预测结果进行整体性比较。

提出的方法

• 提出三联诊断图形：使用CORP方法进行一致、最优分箱、可复现的校准性评估的可靠性图，用于判别能力的ROC曲线，以及用于整体预测性能的Murphy图。
• 采用CORP框架，通过基于PAV的分箱方法构建可靠性图，确保校准性评估的一致性与可复现性。
• 利用评分分解方法，将均值Brier评分分解为三个分量：校准偏差（MCB）、判别能力（DSC）和不确定性（UNC）。
• 将正确评分规则表示为Murphy曲线，其中均值基本评分作为阈值参数θ的函数进行绘制，曲线下方面积等于均值Brier评分。
• 应用凸序概念来形式化锐度，定义一个预测在所有凸函数下期望更高的情况下，其锐度高于另一个预测。
• 在预测校准的假设下，建立ROC曲线、Murphy曲线与锐度序之间的理论等价性。

实验结果

研究问题

• RQ1 如何在校准性、判别能力和整体预测性能这三个核心维度上对概率分类器进行评估与比较？
• RQ2 在概率预测中，校准偏差、判别能力和不确定性之间的理论关系是什么？
• RQ3 在何种条件下，基于ROC曲线、Murphy曲线与锐度的预测排序结果会一致？
• RQ4 如何以一致、可复现且最优分箱的方式构建可靠性图？
• RQ5 正确评分规则在统一不同性能维度的概率预测评估中起到什么作用？

主要发现

• 对于校准的预测，ROC曲线与Murphy曲线之间的交叉点数量相同，为比较提供了稳定依据。
• Murphy曲线下方面积等于均值Brier评分，将基本评分的积分与广泛使用的正确评分规则联系起来。
• 当预测校准时，若一个预测在凸序意义下更锐利，则其在ROC曲线和Murphy曲线比较中均占优。
• Murphy曲线与ROC曲线差异的符号变化次数相同，确保了性能排序的一致性。
• CORP方法生成的可靠性图具有一致性、最优分箱、可复现性，并基于PAV算法，优于传统分箱方法。
• 将评分分解为MCB、DSC与UNC分量，支持详细的诊断分析，其中MCB与DSC图提供了多个模型性能的可视化总结。