[论文解读] Confidence Intervals for the F1 Score: A Comparison of Four Methods

Kevin Fu Yuan Lam, Gopal, Vikneswaran+1 more|arXiv (Cornell University)|Sep 26, 2023

Bayesian Modeling and Causal InferenceComputer Science被引用 3

一句话总结

本文提出了两种新的分析方法——Wilson直接法与Wilson间接法，用于构建二分类任务中F1分数的置信区间，尤其针对自然语言处理（NLP）场景。通过理论与实验分析表明，这两种方法在覆盖率概率、区间长度以及避免过度估计和退化问题方面，均优于现有方法（Clopper-Pearson与Wald方法）。

ABSTRACT

In Natural Language Processing (NLP), binary classification algorithms are often evaluated using the F1 score. Because the sample F1 score is an estimate of the population F1 score, it is not sufficient to report the sample F1 score without an indication of how accurate it is. Confidence intervals are an indication of how accurate the sample F1 score is. However, most studies either do not report them or report them using methods that demonstrate poor statistical properties. In the present study, I review current analytical methods (i.e., Clopper-Pearson method and Wald method) to construct confidence intervals for the population F1 score, propose two new analytical methods (i.e., Wilson direct method and Wilson indirect method) to do so, and compare these methods based on their coverage probabilities and interval lengths, as well as whether these methods suffer from overshoot and degeneracy. Theoretical results demonstrate that both proposed methods do not suffer from overshoot and degeneracy. Experimental results suggest that both proposed methods perform better, as compared to current methods, in terms of coverage probabilities and interval lengths. I illustrate both current and proposed methods on two suggestion mining tasks. I discuss the practical implications of these results, and suggest areas for future research.

研究动机与目标

• 为解决自然语言处理评估中F1分数缺乏可靠置信区间的现状，目前报告的F1分数通常未附带不确定性估计。
• 识别现有方法的不足之处，特别是覆盖率概率差、区间长度过长，以及过度估计和退化等问题。
• 基于Wilson分数区间框架，提出两种新的F1分数置信区间分析方法。
• 通过理论与实证标准，对比所提方法与现有成熟方法的性能表现。
• 为研究人员在二分类任务中选择合适的F1分数置信区间方法提供实用指导。

提出的方法

• 通过将F1分数建模为精确率与召回率的调和平均，将Wilson分数区间方法适配至F1分数，其中精确率与召回率被视为二项比例。
• 通过将Wilson区间应用于精确率与召回率的调和平均，推导出Wilson直接法，将F1视为两个相关二项比例的函数。
• 通过先分别使用Wilson方法构建精确率与召回率的置信区间，再从区间边界计算F1分数，提出Wilson间接法。
• 在两种所提方法中，均以调和平均公式 F1 = 2 * (precision * recall) / (precision + recall) 作为核心函数关系。
• 运用理论推导评估覆盖率概率、区间长度、以及对退化与过度估计的规避能力等性质。
• 通过模拟数据与真实世界的意见挖掘数据集，验证在不同样本量与类别分布下的性能表现。

实验结果

研究问题

• RQ1 现有置信区间方法（Clopper-Pearson与Wald）在F1分数上的覆盖率概率，与所提方法相比如何？
• RQ2 所提的Wilson直接法与间接法是否相比传统方法表现出更少的区间长度膨胀？
• RQ3 所提方法是否能避免现有方法普遍存在的过度估计与退化问题？
• RQ4 在实际NLP应用（如意见挖掘任务）中，所提方法表现如何？
• RQ5 在模型评估中，使用不同置信区间方法对F1分数结果的解释会产生何种影响？

主要发现

• 与Clopper-Pearson与Wald方法不同，Wilson直接法与间接法均未出现过度估计或退化现象。
• 两种所提方法在不同样本量与类别分布下均实现了更高且更稳定的覆盖率概率。
• 在小样本场景下，Wilson直接法产生的置信区间比Wald与Clopper-Pearson方法更短。
• Wilson间接法提供了稳健的替代方案，具备出色的覆盖率特性，且对极端精确率与召回率值不敏感。
• 在两个意见挖掘任务上的实证结果表明，所提方法产生的不确定性估计比现有方法更可靠。
• 理论分析证实，即使精确率与召回率高度相关，所提方法仍能保持正确的统计特性。