[论文解读] A Survey of Active Learning for Text Classification using Deep Neural Networks

Christopher Schröder, Andreas Niekler|arXiv (Cornell University)|Aug 17, 2020

Machine Learning and Algorithms参考文献 104被引用 60

一句话总结

本文综述基于神经网络的文本分类主动学习，提出查询策略的分类法，评审 NLP 领域最近的神经网络进展，并指出未来研究的空白与待解问题。

ABSTRACT

Natural language processing (NLP) and neural networks (NNs) have both undergone significant changes in recent years. For active learning (AL) purposes, NNs are, however, less commonly used -- despite their current popularity. By using the superior text classification performance of NNs for AL, we can either increase a model's performance using the same amount of data or reduce the data and therefore the required annotation efforts while keeping the same performance. We review AL for text classification using deep neural networks (DNNs) and elaborate on two main causes which used to hinder the adoption: (a) the inability of NNs to provide reliable uncertainty estimates, on which the most commonly used query strategies rely, and (b) the challenge of training DNNs on small data. To investigate the former, we construct a taxonomy of query strategies, which distinguishes between data-based, model-based, and prediction-based instance selection, and investigate the prevalence of these classes in recent research. Moreover, we review recent NN-based advances in NLP like word embeddings or language models in the context of (D)NNs, survey the current state-of-the-art at the intersection of AL, text classification, and DNNs and relate recent advances in NLP to AL. Finally, we analyze recent work in AL for text classification, connect the respective query strategies to the taxonomy, and outline commonalities and shortcomings. As a result, we highlight gaps in current research and present open research questions.

研究动机与目标

• 提供一个适用于文本分类的主动学习查询策略的分类体系。
• 调查深度神经网络和现代 NLP 表示如何影响主动学习。
• 分析在文本分类的基于神经网络的主动学习中使用的最近实验和数据集。
• 识别此领域未来工作应关注的空白、局限性以及待解的研究问题。

提出的方法

• 基于输入信息（数据、模型、预测和随机基线）建立查询策略的分类体系。
• 将神经网络的不确定性、小样本挑战和迁移学习与主动学习设计联系起来。
• 调查最近的基于 NN 的文本分类进展（嵌入、语言模型、变换器），并将其映射到主动学习。
• 回顾并综合各研究中的实验设置，包括数据集、模型和查询策略。
• 突出基于 NN 的文本分类主动学习的共性、局限性和待解的研究问题。

实验结果

研究问题

• RQ1 在文本分类的主动学习中，查询策略的主要分类是什么，尤其是对于深度神经网络？
• RQ2 最近的 NLP 进展（嵌入、语言模型、迁移学习）如何影响主动学习的效果与实践？
• RQ3 在基于神经网络的文本分类主动学习中，常见的实验模式与空白是什么，还有哪些开放问题 remain?
• RQ4 请将“remain”按中文理解处理为剩余？请忽略该词，保持翻译。

主要发现

• 基于不确定性和基于分歧的预测策略在文本分类的基于 NN 的主动学习中占主导地位，但在现代神经网络架构下的有效性参差不齐。
• 神经网络的不确定性估计仍然具有挑战性，可能限制主动学习的性能，尤其是在小标注数据集上。
• 迁移学习和上下文化语言模型降低了数据需求，使在小数据情境下的主动学习更高效。
• 最近的实验显示出在数据集间的变异性和可比性有限，表明需要标准化基准和更广泛的评估。
• NLP 表示的进展可能提升主动学习，但实际应用需要对不确定性和数据集特征进行谨慎处理。