[论文解读] Active Learning with Partial Feedback

Peiyun Hu, Zachary C. Lipton+2 more|arXiv (Cornell University)|Feb 21, 2018

Machine Learning and Algorithms参考文献 32被引用 31

一句话总结

本文提出了一种带有部分反馈的主动学习（ALPF）框架，该框架联合选择需要标注的样本以及应提问的二元问题（例如，'它是狗吗？'），从而在分层多分类设置中实现成本效益更高的标注。与标准主动学习相比，ALPF在Tiny ImageNet上将top-1准确率提升了26%（相对提升），同时将标注成本降低了42%，挑战了传统上聚焦于困难样本的观念。

ABSTRACT

While many active learning papers assume that the learner can simply ask for a label and receive it, real annotation often presents a mismatch between the form of a label (say, one among many classes), and the form of an annotation (typically yes/no binary feedback). To annotate examples corpora for multiclass classification, we might need to ask multiple yes/no questions, exploiting a label hierarchy if one is available. To address this more realistic setting, we propose active learning with partial feedback (ALPF), where the learner must actively choose both which example to label and which binary question to ask. At each step, the learner selects an example, asking if it belongs to a chosen (possibly composite) class. Each answer eliminates some classes, leaving the learner with a partial label. The learner may then either ask more questions about the same example (until an exact label is uncovered) or move on immediately, leaving the first example partially labeled. Active learning with partial labels requires (i) a sampling strategy to choose (example, class) pairs, and (ii) learning from partial labels between rounds. Experiments on Tiny ImageNet demonstrate that our most effective method improves 26% (relative) in top-1 classification accuracy compared to i.i.d. baselines and standard active learners given 30% of the annotation budget that would be required (naively) to annotate the dataset. Moreover, ALPF-learners fully annotate TinyImageNet at 42% lower cost. Surprisingly, we observe that accounting for per-example annotation costs can alter the conventional wisdom that active learners should solicit labels for hard examples.

研究动机与目标

• 为解决主动学习中对原子标注的假设与现实标注实践之间的不匹配问题，后者通常涉及一系列是/否问题。
• 将标注成本建模为动态且与样本相关的变量，反映每个样本所需的二元问题数量。
• 开发一种能够从部分标注数据中有效学习的框架，其中标签通过反馈逐步揭示。
• 探究是否优先选择'更简单'的样本进行标注，可以降低整体标注成本，这与传统主动学习的观念相悖。
• 设计能够平衡信息增益与标签消除/保留的获取函数，以实现高效的局部标注。

提出的方法

• ALPF使用预定义的分层标签结构（例如，WordNet）来定义复合类别，从而在多个粒度层级上支持二元问题。
• 在每轮迭代中，学习器选择一个（样本，类别）对，标注者以是/否回答，从而排除部分类别并留下一个部分标签。
• 模型通过将每个样本视为剩余类别与被排除类别之间的二分类问题来从部分标签中学习，利用softmax概率和来衡量置信度。
• 提出了三种获取函数：期望信息增益（EIG）、期望置信度下降（EDC）和期望剩余置信度（ERC），用于指导问题选择。
• 该框架支持对每个样本的早期停止——若成本效率更高则放弃未完成的标注，从而实现动态成本控制。
• 采用概率推理机制计算分配给剩余类别的总概率质量，即使在部分标签情况下也能实现不确定性估计。

实验结果

研究问题

• RQ1 通过允许通过一系列二元问题实现部分反馈，而非原子标签，能否使主动学习更具成本效益？
• RQ2 在考虑每个样本的可变标注成本时，是否会影响主动学习中的最优策略，特别是样本选择策略？
• RQ3 在部分反馈设置中，是否优先考虑标签消除（EDC）或剩余置信度（ERC）的获取函数能够优于传统的基于不确定性的方法？
• RQ4 在ALPF中，是否优先标注'更简单'的样本更高效，即使它们的不确定性较低？
• RQ5 在标签逐步揭示的情况下，从部分标注数据中训练的模型泛化能力如何，尤其在标签分布发生变化时？

主要发现

• 在Tiny ImageNet上，使用ERC获取函数的ALPF相比i.i.d.基线方法，top-1准确率相对提升了26%，绝对提升了8.1%，且仅使用了30%的标注预算。
• ALPF学习器在完全标注Tiny ImageNet时，相比标准主动学习方法，使用的二元问题数量减少了42%。
• ERC获取函数在准确率和成本效率方面均优于EIG和EDC，尤其在处理类别层次结构和标签分布偏移方面表现更优。
• 诊断分析表明，EIG优先选择困难样本，而ERC和EDC则优先选择较简单的类别，从而实现更快的标签完成和更低的成本。
• 结果挑战了传统主动学习中应优先标注困难样本的假设，表明在预算约束下，成本感知策略可带来更好的性能。
• 该框架能有效从动态变化的部分标签中学习，在输入数据遭受对抗性扰动时也表现出良好的鲁棒性。