[论文解读] Does quantification without adjustments work?

Dirk Tasche|arXiv (Cornell University)|Feb 28, 2016

Machine Learning and Data Classification参考文献 13被引用 4

一句话总结

本文研究了当分类器专门使用 Q-度量准则进行训练以作为量化器时，不进行事后调整的量化方法是否可行。结果表明，尽管在训练集与目标集类别先验概率相同时，Classify & Count 方法表现尚可，但 Q-度量方法存在校准偏差风险，限制了其实际应用范围，仅在训练集与目标集类别先验概率几乎相同时才具实用性。

ABSTRACT

Classification is the task of predicting the class labels of objects based on the observation of their features. In contrast, quantification has been defined as the task of determining the prevalences of the different sorts of class labels in a target dataset. The simplest approach to quantification is Classify & Count where a classifier is optimised for classification on a training set and applied to the target dataset for the prediction of class labels. In the case of binary quantification, the number of predicted positive labels is then used as an estimate of the prevalence of the positive class in the target dataset. Since the performance of Classify & Count for quantification is known to be inferior its results typically are subject to adjustments. However, some researchers recently have suggested that Classify & Count might actually work without adjustments if it is based on a classifer that was specifically trained for quantification. We discuss the theoretical foundation for this claim and explore its potential and limitations with a numerical example based on the binormal model with equal variances. In order to identify an optimal quantifier in the binormal setting, we introduce the concept of local Bayes optimality. As a side remark, we present a complete proof of a theorem by Ye et al. (2012).

研究动机与目标

• 评估在使用专门针对量化任务训练的分类器时，Classify & Count 量化方法在无调整情况下的理论与实证有效性。
• 阐明校准与分类能力在设计最优量化器中的作用。
• 探究在无调整条件下，Q-度量准则是否能带来可靠的量化性能。
• 识别在何种条件下可认为无调整的量化方法是可行的，特别是在方差相等的双正态模型中。

提出的方法

• 本研究使用方差相等的双正态模型，通过解析推导与比较，评估不同优化准则下的量化器性能。
• 引入局部贝叶斯最优性的概念，以在双正态设定下识别最优量化器。
• 在 Q-度量中采用不同的 β 权重，以平衡校准（NAS*）与真正例率（TPR），数值实验中使用 β=1 和 β=2。
• 通过比较目标数据集中预测与实际的类别先验概率，评估 Q-度量优化分类器的性能。
• 作为理论基础的补充，本文完整证明了 Ye 等人（2012）提出的一个定理。
• 数值模拟使用固定参数：μ=0，ν=2，σ=1，且 P[A]=p=25%。

实验结果

研究问题

• RQ1 如果分类器是专门训练为量化器的，Classify & Count 量化方法是否可以在无调整的情况下运行？
• RQ2 在无调整条件下，Q-度量准则在何种情况下能产生可靠的量化估计？
• RQ3 Q-度量中 β 值的选择如何影响所得量化器的校准性与性能？
• RQ4 根据局部贝叶斯最优性定义的局部最优分类器，是否在最小化先验概率估计误差方面优于其他量化器？
• RQ5 量化器的性能在多大程度上依赖于训练集与目标数据集类别先验概率的相似性？

主要发现

• 当 β=2 时，Q-度量可识别出局部最优分类器，在训练集与目标集先验概率相同时可实现完美性能。
• 当 β=1 时，Q-度量最优分类器在 u>p=0.25 处达到最大值，表明校准与 TPR 之间存在权衡，导致先验概率估计次优。
• Q-度量方法可能产生校准偏差的量化器，从而削弱无调整条件下 Classify & Count 的可靠性。
• Classify & Count 在无调整时仅在目标数据集中真正例类别的先验概率与训练集的 25% 非常接近时表现良好。
• 通过推论 2.8 确定的最小最大分类器，在 β=1 时性能几乎与 Q-度量最优分类器相当，但仅在特定先验概率范围内成立。
• 总体而言，无调整量化方法的成功可能性仅限于训练集与目标集先验概率几乎相同的情况。