[论文解读] Extending F1 metric, probabilistic approach

Mikołaj Sitarz|arXiv (Cornell University)|Oct 21, 2022

Neural Networks and Applications参考文献 9被引用 7

一句话总结

本文提出了一种新的概率性F1扩展——P₄，作为一种对称的、有界的[0,1]度量，通过调和平均精度、召回率、特异性与负预测值来实现。该方法通过引入真正例并确保任一关键条件概率降至零时度量值归零，解决了F1的局限性，在边界情况下的表现优于F1，并在实证评估中展现出更优的阈值选择能力。

ABSTRACT

This article explores the extension of well-known F1 score used for assessing the performance of binary classifiers. We propose the new metric using probabilistic interpretation of precision, recall, specificity, and negative predictive value. We describe its properties and compare it to common metrics. Then we demonstrate its behavior in edge cases of the confusion matrix. Finally, the properties of the metric are tested on binary classifier trained on the real dataset.

研究动机与目标

• 解决F1对真正例缺乏依赖性以及在标签互换下不对称的问题。
• 开发一个统一的度量，用于评估四个关键条件概率：P(+|C+)、P(C+|+)、P(C-|−) 和 P(−|C−)。
• 创建一个在[0,1]区间有界的度量，当任一成分概率趋近于零时度量值归零，且仅当所有四个概率均接近1时达到1。
• 为二分类器评估提供比F1和MCC更稳健的替代方案，尤其在类别不平衡数据集中的表现。

提出的方法

• 将P₄定义为精度、召回率、特异性和负预测值（NPV）的调和平均。
• 确保P₄满足三个核心属性：在[0,1]区间有界，任一成分概率为零时度量值归零，且仅当所有四个概率均为1时达到1。
• 基于混淆矩阵推导出的条件概率，建立分类性能的概率解释。
• 通过ROC类曲线比较P₄与F1和MCC，绘制MCC与P₄、MCC与F1在不同概率阈值下的对比曲线。
• 将该度量应用于一个真实世界的二分类器（带高斯核的SVM），以评估其阈值选择与鲁棒性。
• 利用调和平均的交换律与混淆矩阵变换的性质，证明P₄在标签互换下保持对称性。

实验结果

研究问题

• RQ1 能否构建一个单一度量，用于评估二分类中的四个关键条件概率？
• RQ2 是否存在一个对称的、[0,1]有界的度量，当任一成分概率趋近于零时度量值归零？
• RQ3 P₄在阈值选择与边界情况下的鲁棒性方面，相较于F1和MCC表现如何？
• RQ4 P₄是否通过整合特异性与NPV，优于F1，从而实现更可靠的性能评估？

主要发现

• P₄在标签互换下保持对称，解决了F1的一个关键局限。
• 当四个条件概率中任一个趋近于零时，P₄归零，确保其能准确反映任一类性能的下降。
• 在实证评估中，P₄识别出最优阈值τ = 0.52，与F1的τ = 0.45不同，表明其对真正例和负预测值成分具有更高的敏感性。
• 在MCC与P₄空间中的P₄曲线开口角度小于F1，表明其性能权衡更保守且更均衡。
• P₄在行为与概率解释上比其他任何复合度量更接近MCC，同时保有更易解释的[0,1]量纲。