[论文解读] Active Learning from Weak and Strong Labelers

Chicheng Zhang, Kamalika Chaudhuri|arXiv (Cornell University)|Oct 9, 2015

Machine Learning and Algorithms参考文献 23被引用 35

一句话总结

本文提出了一种统计一致的主动学习算法，通过结合一个强标签器（准确但昂贵）和一个弱标签器（廉价但易出错），以减少对强标签器的查询次数。通过训练一个代价敏感的差异分类器来检测两个标签器之间的分歧——尤其最小化假阴性错误——该方法在弱标签器与强标签器在决策边界附近一致时实现标签节省，标签复杂度分析表明在有利条件下可获得渐近优势。

ABSTRACT

An active learner is given a hypothesis class, a large set of unlabeled examples and the ability to interactively query labels to an oracle of a subset of these examples; the goal of the learner is to learn a hypothesis in the class that fits the data well by making as few label queries as possible. This work addresses active learning with labels obtained from strong and weak labelers, where in addition to the standard active learning setting, we have an extra weak labeler which may occasionally provide incorrect labels. An example is learning to classify medical images where either expensive labels may be obtained from a physician (oracle or strong labeler), or cheaper but occasionally incorrect labels may be obtained from a medical resident (weak labeler). Our goal is to learn a classifier with low error on data labeled by the oracle, while using the weak labeler to reduce the number of label queries made to this labeler. We provide an active learning algorithm for this setting, establish its statistical consistency, and analyze its label complexity to characterize when it can provide label savings over using the strong labeler alone.

研究动机与目标

• 开发一种统计一致的主动学习算法，通过引入廉价但易出错的弱标签器，减少对昂贵高质量标签的依赖。
• 解决先前方法中使用标准差异分类器导致的统计不一致问题，该问题可能因假阴性错误而引入偏差。
• 刻画在何种条件下所提方法相比仅使用强标签器的主动学习可实现标签复杂度节省。
• 分析该算法的标签复杂度，并表明学习差异分类器仅在实际场景中引入可忽略的额外开销。

提出的方法

• 该方法训练一个代价敏感的差异分类器，以预测弱标签器与强标签器之间的分歧，重点是最小化假阴性错误（即未能检测到分歧）。
• 该算法将差异分类器的训练限制在主动学习查询发生的局部输入空间区域，从而在保持统计一致性的同时降低计算成本。
• 采用分层采样策略，每轮迭代逐步增加样本规模，利用一致收敛界确保误差率估计的可靠性。
• 通过在多轮迭代中使用联合界（union bound）以及基于VC型不等式的置信区间，确保分类器性能的高概率保证。
• 利用差异分类器仅需在查询发生区域准确这一事实，实现局部化且高效的训练。
• 通过控制差异分类器中的假阴性错误，确保统计一致性，从而避免因偏差影响最终从强标签器学习到的假设。

实验结果

研究问题

• RQ1 在何种条件下，结合强标签器与弱标签器的主动学习相比仅使用强标签器可实现标签复杂度节省？
• RQ2 为何标准差异分类器在此设置下无法保证统计一致性？该失败现象如何被纠正？
• RQ3 学习差异分类器的标签复杂度能否保持足够低，使得尽管需查询弱标签器，整体标签成本仍得以降低？
• RQ4 所提方法的性能在多大程度上依赖于弱标签器与强标签器在决策边界附近的吻合率？
• RQ5 对于使用不同可靠性标注者的多标注者主动学习算法，可提供哪些关于一致性和标签复杂度的理论保证？

主要发现

• 所提算法具有统计一致性，因其使用代价敏感的差异分类器，最小化假阴性错误，否则将导致最终假设中的偏差。
• 当弱标签器在决策边界附近的样本中与强标签器达成一致时，标签复杂度得以降低，因为此时算法可避免查询昂贵的Oracle。
• 学习差异分类器所需的标签数量阶次低于标准主动学习所需数量，意味着在实际中额外开销微乎其微。
• 当弱标签器与Oracle在决策边界附近的吻合率足够高时，该算法在最坏情况下仍能实现标签节省，特别是当吻合率超过与噪声水平相关的阈值时。
• 理论分析表明，所提方法的标签复杂度在最坏情况下渐近等价于仅使用Oracle的主动学习，但在有利条件下可实现显著节省。