[论文解读] Overcoming Practical Issues of Deep Active Learning and its Applications on Named Entity Recognition.

Haw-Shiuan Chang, Shankar Vembu+3 more|arXiv (Cornell University)|Nov 17, 2019

Topic Modeling被引用 2

一句话总结

本文提出了一种用于命名实体识别的透明批量主动采样框架，通过在特征定义的数据子集上估计误差衰减曲线，以克服基于黑箱模型的不确定性采样在可解释性、对标注噪声的鲁棒性以及与黑箱模型不兼容等方面的局限性。该方法在性能上优于基于多样性采样的方法，并在与不确定性采样结合时增强了对噪声的鲁棒性。

ABSTRACT

Existing deep active learning algorithms achieve impressive sampling efficiency on natural language processing tasks. However, they exhibit several weaknesses in practice, including (a) inability to use uncertainty sampling with black-box models, (b) lack of robustness to labeling noise, and (c) lack of transparency. In response, we propose a transparent batch active sampling framework by estimating the error decay curves of multiple feature-defined subsets of the data. Experiments on four named entity recognition (NER) tasks demonstrate that the proposed methods significantly outperform diversification-based methods for black-box NER taggers, and can make the sampling process more robust to labeling noise when combined with uncertainty-based methods. Furthermore, the analysis of experimental results sheds light on the weaknesses of different active sampling strategies, and when traditional uncertainty-based or diversification-based methods can be expected to work well.

研究动机与目标

• 解决深度主动学习在NLP中实际应用的局限性，包括与黑箱模型不兼容、对标注噪声敏感以及缺乏透明度。
• 开发一种批量主动采样框架，使黑箱NER标注器能够实现基于不确定性的采样。
• 提升主动学习在真实世界NER应用中对标注噪声的鲁棒性。
• 通过在特征定义的数据子集上建模误差衰减，提供可解释性。
• 在多个NER任务上评估该框架，以证明其性能的持续提升。

提出的方法

• 估计训练数据中多个特征定义子集的误差衰减曲线，以预测模型随时间的性能表现。
• 利用这些衰减曲线指导主动学习中的批量选择，优先选择能带来最大性能提升的样本。
• 将该框架与基于不确定性和基于多样性的采样策略相结合，以进行对比评估。
• 将该方法应用于黑箱NER标注器，实现在无需模型梯度或内部访问权限的情况下进行不确定性采样。
• 利用误差衰减建模的透明性，分析并解释不同数据子群体中的采样行为。
• 将该框架与基于不确定性的采样结合，以增强在真实世界数据集中对标注噪声的鲁棒性。

实验结果

研究问题

• RQ1 透明的主动学习框架是否能提升在无法应用不确定性采样的黑箱NER模型中的采样效率？
• RQ2 与基于多样性的采样相比，所提出方法在标注效率和模型准确率方面表现如何？
• RQ3 误差衰减曲线估计在多大程度上能提升NER主动学习对标注噪声的鲁棒性？
• RQ4 在哪些数据子群体或特征定义的子集中，所提出方法展现出最大的性能提升？
• RQ5 在何种条件下，基于不确定性的采样策略与基于多样性的采样策略在实践中表现更优？

主要发现

• 当与黑箱NER标注器结合使用时，所提出的框架在采样效率方面显著优于基于多样性的方法。
• 当与基于不确定性的采样结合时，该方法增强了对标注噪声的鲁棒性，提升了在噪声标注下的模型泛化能力。
• 误差衰减曲线估计为采样过程提供了透明度，使我们能够分析不同数据子群体中的性能增益。
• 该框架在四个不同的命名实体识别任务中均表现出一致的性能提升，验证了其泛化能力。
• 分析表明，当可访问模型时，基于不确定性的采样比基于多样性的方法更有效，但所提出的框架使黑箱模型也能实现类似的性能提升。
• 本研究识别出采样效率最高的特定数据子集，为高效的数据选择策略提供了洞见。