[论文解读] Evaluating Classifiers Without Expert Labels

Hyun Joon Jung, Matthew Lease|arXiv (Cornell University)|Dec 5, 2012

Machine Learning and Data Classification参考文献 36被引用 11

一句话总结

本文提出了一种可扩展的方法，无需专家标注数据即可评估机器学习分类器，方法包括自动生成伪黄金标签（盲评估）或使用众包标注。评估了两种策略——合并后评分与评分后合并——结果表明，采用多组标签采样的评分后合并策略与基于专家的性能评估具有高度相关性（r > 0.9），尤其在准确率、精确率和召回率方面表现优异，使其成为昂贵专家标注的可靠替代方案。

ABSTRACT

This paper considers the challenge of evaluating a set of classifiers, as done in shared task evaluations like the KDD Cup or NIST TREC, without expert labels. While expert labels provide the traditional cornerstone for evaluating statistical learners, limited or expensive access to experts represents a practical bottleneck. Instead, we seek methodology for estimating performance of the classifiers which is more scalable than expert labeling yet preserves high correlation with evaluation based on expert labels. We consider both: 1) using only labels automatically generated by the classifiers (blind evaluation); and 2) using labels obtained via crowdsourcing. While crowdsourcing methods are lauded for scalability, using such data for evaluation raises serious concerns given the prevalence of label noise. In regard to blind evaluation, two broad strategies are investigated: combine & score and score & combine methods infer a single pseudo-gold label set by aggregating classifier labels; classifiers are then evaluated based on this single pseudo-gold label set. On the other hand, score & combine methods: 1) sample multiple label sets from classifier outputs, 2) evaluate classifiers on each label set, and 3) average classifier performance across label sets. When additional crowd labels are also collected, we investigate two alternative avenues for exploiting them: 1) direct evaluation of classifiers; or 2) supervision of combine & score methods. To assess generality of our techniques, classifier performance is measured using four common classification metrics, with statistical significance tests. Finally, we measure both score and rank correlations between estimated classifier performance vs. actual performance according to expert judgments. Rigorous evaluation of classifiers from the TREC 2011 Crowdsourcing Track shows reliable evaluation can be achieved without reliance on expert labels.

研究动机与目标

• 为解决在KDD Cup或TREC等大规模共享任务中，分类器评估面临的专家标注可扩展性瓶颈。
• 开发可靠且可扩展的替代方案，用于估计分类器的相对与绝对性能，替代专家标注。
• 评估仅使用分类器输出的盲评估方法与结合众包标签的混合方法，在预测真实分类器性能方面的有效性。
• 在多种指标和方法之间，测量估计性能与专家验证性能之间的评分与排序相关性。

提出的方法

• 提出两种盲评估策略：合并后评分（将分类器输出聚合为单一伪黄金标签集）与评分后合并（采样多组标签集并对其性能取平均）。
• 引入两种使用众包标签的混合方法：直接在众包标签上进行评估，以及将众包标签作为先验知识来监督合并与评分方法。
• 采用四种标准分类指标——准确率（ACC）、精确率（PRE）、召回率（REC）和特异性（SPE）——来评估分类器性能。
• 使用统计显著性检验（配对t检验）判断基于估计性能与实际性能的分类器排名差异。
• 通过皮尔逊评分相关性与斯皮尔曼等级相关性，测量估计性能与专家验证性能之间的相关性，以评估估计的可靠性。
• 采用严谨的实验框架，使用TREC 2011众包追踪数据，其中D3为独立验证集，D4为测试集。

实验结果

研究问题

• RQ1 是否可以仅依靠分类器自身输出，无需专家标签，可靠地估计分类器性能？
• RQ2 与盲评估方法相比，引入众包标签是否能提高性能估计的准确性？
• RQ3 在不同指标下，哪种估计方法——合并后评分或评分后合并——与专家验证性能的相关性最高？
• RQ4 引入众包标签如何影响性能估计的可靠性，特别是在评分与排序相关性方面？
• RQ5 这些估计方法在不同分类指标下是否具有鲁棒性，特别是在以统计显著性衡量性能时？

主要发现

• 评分后合并方法在准确率、精确率和召回率上与专家验证性能的皮尔逊相关性超过0.9，表明估计具有极强的可靠性。
• 在验证集上，评分后合并的斯皮尔曼等级相关性达到0.96，显著优于未使用众包标签时的合并后评分方法（0.75–0.95）。
• 众包标签并未显著提升性能估计效果，相较于盲评估方法，表明高质量的伪黄金标签可仅从分类器输出中生成。
• 通过采样多组标签集并取平均性能（评分后合并）的方法，在评分与排序相关性上始终优于单一伪黄金标签聚合（合并后评分）的方法。
• 对于特异性（SPE），相关性仍较低（r < 0.67），表明在方差较大或出现频率较低的指标上，估计仍具挑战性。
• 统计显著性检验确认，不同方法之间的相关性差异具有实际意义，评分后合并方法在所有指标上均持续优于合并后评分方法。