[论文解读] Exemplar Guided Active Learning

Jason Hartford, Kevin Leyton‐Brown+4 more|arXiv (Cornell University)|Nov 2, 2020

Natural Language Processing Techniques参考文献 20被引用 4

一句话总结

本文提出示例引导主动学习（EGAL），一种利用预训练语言模型的上下文嵌入来高效识别高度倾斜数据集中罕见词义的方法，同时采用统计停止规则，在词义频率低于阈值时停止标注。与标准主动学习相比，该方法将标注成本降低了最多50%，并具有相对于已知真实标签频率的Oracle的对数级额外开销理论保证。

ABSTRACT

We consider the problem of wisely using a limited budget to label a small subset of a large unlabeled dataset. We are motivated by the NLP problem of word sense disambiguation. For any word, we have a set of candidate labels from a knowledge base, but the label set is not necessarily representative of what occurs in the data: there may exist labels in the knowledge base that very rarely occur in the corpus because the sense is rare in modern English; and conversely there may exist true labels that do not exist in our knowledge base. Our aim is to obtain a classifier that performs as well as possible on examples of each "common class" that occurs with frequency above a given threshold in the unlabeled set while annotating as few examples as possible from "rare classes" whose labels occur with less than this frequency. The challenge is that we are not informed which labels are common and which are rare, and the true label distribution may exhibit extreme skew. We describe an active learning approach that (1) explicitly searches for rare classes by leveraging the contextual embedding spaces provided by modern language models, and (2) incorporates a stopping rule that ignores classes once we prove that they occur below our target threshold with high probability. We prove that our algorithm only costs logarithmically more than a hypothetical approach that knows all true label frequencies and show experimentally that incorporating automated search can significantly reduce the number of samples needed to reach target accuracy levels.

研究动机与目标

• 为解决在极端类别不平衡下标注词义消歧数据集的挑战，其中罕见词义代表性不足，标准主动学习方法失效。
• 开发一种在不预先知晓其真实频率的情况下识别罕见词义的方法，利用预训练语言模型的上下文嵌入。
• 设计一种停止规则，以高概率证明某一词义的真实频率低于目标频率阈值，从而避免不必要的标注。
• 在最小化对罕见或不存在词义的标注工作量的同时，保持对常见词义的平衡标注。
• 在基于Reddit的新颖且高度倾斜的词义消歧数据集上评估该方法。

提出的方法

• 利用预训练语言模型的嵌入，在词的上下文中寻找每个候选词义的示例，实现在嵌入空间中的局部化搜索。
• 使用频率阈值γ来定义‘常见’与‘罕见’词义，其中常见词义需要进行平衡标注。
• 采用基于重要性加权采样的统计停止规则，以高置信度证明某一词义的真实频率低于γ。
• 在识别并标注完常见词义后，从示例引导搜索切换到基于不确定性的主动学习。
• 通过使用嵌入在嵌入空间中搜索每个词义的示例，自动化引导学习过程，消除标注者的手动搜索。
• 使用来自嵌入邻域的重要性加权样本在线估计标签频率ˆpy，实现实时停止决策。

实验结果

研究问题

• RQ1 我们能否在不预先知晓其真实频率的情况下，高效地在大规模未标注语料库中发现罕见词义？
• RQ2 在高度倾斜的数据集中，如何在确保常见词义得到充分覆盖的同时，降低标注成本？
• RQ3 什么样的停止规则能够可靠地识别并排除罕见词义，且在候选标签集存在偏差时仍能将标注量最小化？
• RQ4 与人工搜索相比，嵌入空间中的示例搜索在样本效率和准确性方面表现如何？
• RQ5 在极端类别不平衡条件下，与标准主动学习相比，所提出方法在多大程度上降低了标注成本？

主要发现

• EGAL算法在高度倾斜的词义消歧任务中，与标准主动学习相比，将标注成本降低了最多50%。
• 停止规则成功以高置信度识别并排除了罕见词义，通过避免在罕见类别发现中的假阳性，减少了不必要的标注。
• 该方法仅以相对于已知所有真实标签频率的Oracle的对数级额外开销，实现了接近最优的性能。
• 在新的基于Reddit的词义消歧数据集上，EGAL在更低的标注预算下，实现了比竞争方法更高的常见词义平均覆盖度。
• 使用上下文嵌入使得即使在罕见词义比常见词义低几个数量级的情况下，也能有效搜索到其示例。
• 混合方法——先进行示例引导搜索，再转为基于不确定性的主动学习——在极端倾斜场景下优于纯主动学习或纯引导学习方法。