[论文解读] Minimizing Manual Annotation Cost In Supervised Training From Corpora

Sean P. Engelson, Ido Dagan|ArXiv.org|Jun 24, 1996

Machine Learning and Algorithms参考文献 14被引用 10

一句话总结

本文提出基于委员会的样本选择方法，通过仅选择最具信息量的未标注样本进行标注，以最小化监督式 NLP 训练中的手动标注成本。在随机性词性标注任务上的实验表明，标注成本和模型规模均显著降低，且一种简单、无参数的方法实现了优异性能。

ABSTRACT

Corpus-based methods for natural language processing often use supervised training, requiring expensive manual annotation of training corpora. This paper investigates methods for reducing annotation cost by {\it sample selection}. In this approach, during training the learning program examines many unlabeled examples and selects for labeling (annotation) only those that are most informative at each stage. This avoids redundantly annotating examples that contribute little new information. This paper extends our previous work on {\it committee-based sample selection} for probabilistic classifiers. We describe a family of methods for committee-based sample selection, and report experimental results for the task of stochastic part-of-speech tagging. We find that all variants achieve a significant reduction in annotation cost, though their computational efficiency differs. In particular, the simplest method, which has no parameters to tune, gives excellent results. We also show that sample selection yields a significant reduction in the size of the model used by the tagger.

研究动机与目标

• 降低监督式 NLP 训练中手动标注的高昂成本。
• 通过仅从未标注语料中选择最具信息量的样本，最小化冗余标注。
• 评估基于委员会的样本选择在减少标注工作量方面的有效性。
• 评估样本选择对模型大小和训练效率的影响。
• 识别适用于实际部署的低成本、高性能采样策略。

提出的方法

• 采用基于委员会的样本选择方法，即多个模型对不确定样本进行投票，以识别具有信息量的实例。
• 选择委员会成员之间意见分歧较大的样本进行标注，因为这些样本可能有助于提升模型泛化能力。
• 使用基于小规模初始标注集训练的概率分类器，然后根据委员会的不确定性，迭代选择并标注新样本。
• 应用一系列样本选择方法，包括一种无需调参的简单变体，无需调整任何超参数。
• 将新标注的样本整合到训练集中，并在每次迭代后重新训练模型。
• 通过比较不同采样策略下的标注需求量和模型性能，衡量成本降低程度。

实验结果

研究问题

• RQ1 基于委员会的样本选择能否在监督式 NLP 训练中显著减少需要人工标注的样本数量？
• RQ2 不同样本选择策略在标注成本和模型准确率方面的表现如何比较？
• RQ3 样本选择是否能在不牺牲标注准确率的前提下，使模型更小、更高效？
• RQ4 一种简单、无参数的样本选择方法能否优于更复杂、经调优的替代方案？
• RQ5 样本选择在多大程度上减少了标注训练数据中的冗余？

主要发现

• 所有基于委员会的样本选择变体相比随机采样，均显著降低了标注成本。
• 最简单的无参数方法表现优异，且极为高效。
• 该方法显著减小了用于词性标注器的最终模型规模。
• 通过聚焦于能提供最多新信息的样本，样本选择最大限度减少了冗余标注。
• 该方法在大幅减少所需标注样本数量的同时，仍保持了较高的标注准确率。
• 不同方法的计算效率有所差异，但无参数变体在极低开销下实现了出色的性能。