[论文解读] Active Learning from Imperfect Labelers

Songbai Yan, Kamalika Chaudhuri+1 more|arXiv (Cornell University)|Oct 30, 2016

Machine Learning and Algorithms参考文献 27被引用 35

一句话总结

本文提出了一种自适应主动学习算法，利用标注者拒绝对答案来实现近乎最优的查询复杂度，且无需事先了解噪声率或拒答率。在温和条件下具有统计一致性，并在拒答率在决策边界附近单调增加时，实现 $\tilde{O}(\tau^{-\beta})$ 的查询复杂度，优于以往需要参数知识或假设标注者不拒答的工作。

ABSTRACT

We study active learning where the labeler can not only return incorrect labels but also abstain from labeling. We consider different noise and abstention conditions of the labeler. We propose an algorithm which utilizes abstention responses, and analyze its statistical consistency and query complexity under fairly natural assumptions on the noise and abstention rate of the labeler. This algorithm is adaptive in a sense that it can automatically request less queries with a more informed or less noisy labeler. We couple our algorithm with lower bounds to show that under some technical conditions, it achieves nearly optimal query complexity.

研究动机与目标

• 为解决存在噪声和拒答标注者的情况下的主动学习问题，其中传统方法假设标注完美。
• 开发一种能够适应标注者行为的算法，且无需事先了解噪声率或拒答率。
• 在对标注者行为的现实、非参数化假设下，分析统计一致性和查询复杂度。
• 建立理论下界，表明所提算法的查询复杂度近乎最优。

提出的方法

• 该算法基于不确定性采样自适应地查询样本，优先选择在决策边界附近拒答率较高的区域。
• 它使用统计检验来估计标注置信度，并选择性地查询不确定性较高的样本。
• 该方法基于从经验标注分布中推导出的置信区间，引入了停止准则。
• 它利用了在决策边界附近拒答率单调增加的特性，以减少对噪声标签的依赖。
• 该算法对噪声和拒答的具体形式保持无关，仅依赖于拒答率的单调性。
• 理论分析使用集中不等式和伯努利型界，以建立一致性和查询复杂度的界。

实验结果

研究问题

• RQ1 当标注者既会错误标注又会拒答时，主动学习算法能否实现统计一致性？
• RQ2 当标注者的拒答率在决策边界附近单调增加时，主动学习的查询复杂度如何变化？
• RQ3 能否在不事先了解噪声或拒答参数的情况下，自适应地降低查询复杂度？
• RQ4 对于使用拒答标注者的主动学习，查询复杂度的根本下界是什么？
• RQ5 拒答率的单调性是否为实现更高查询效率的必要条件？

主要发现

• 所提算法在拒答率在决策边界附近非递减的温和条件下，实现了统计一致性。
• 当拒答率在边界附近以 $1 - \tilde{O}(\tau^{\beta})$ 的形式增加时，算法实现了 $\tilde{O}(\tau^{-\beta})$ 的查询复杂度，接近最优。
• 与以往工作不同，该算法无需了解噪声或拒答参数即可适应标注者行为。
• 即使不依赖噪声标签，当拒答率在决策边界附近急剧上升时，查询复杂度也显著降低。
• 下界分析表明，该算法的查询复杂度近乎最优，证实其效率在理论上是紧致的。
• 反例表明，放松的单调性条件是必要的——若无此条件，算法必须依赖噪声标签，从而增加查询成本。