[论文解读] Active Discriminative Word Embedding Learning.

Ye Zhang, Byron Wallace|arXiv (Cornell University)|Jun 14, 2016

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种用于文本分类的主动学习方法，通过基于其在卷积神经网络中引发词嵌入大规模更新的潜力来选择实例，从而加速学习具有判别性的、任务特定的表示。实验表明，该方法优于传统的不确定性采样及其他基线主动学习策略。

ABSTRACT

We propose a new active learning (AL) method for text classification based on convolutional neural networks (CNNs). In AL, one selects the instances to be manually labeled with the aim of maximizing model performance with minimal effort. Neural models capitalize on word embeddings as features, tuning these to the task at hand. We argue that AL strategies for neural text classification should focus on selecting instances that most affect the embedding space (i.e., induce discriminative word representations). This is in contrast to traditional AL approaches (e.g.,uncertainty sampling), which specify higher level objectives. We propose a simple approach that selects instances containing words whose embeddings are likely to be updated with the greatest magnitude, thereby rapidly learning discriminative, task-specific embeddings. Empirical results show that our method outperforms baseline AL approaches.

研究动机与目标

• 为通过聚焦于嵌入空间优化来解决传统主动学习在神经网络文本分类中的低效性。
• 通过选择最能影响词嵌入更新的实例，以最小的标注成本提升模型性能。
• 从高层次目标（如不确定性）转向低层次、以嵌入为中心的选择标准。
• 开发一种通过战略性实例选择来加速学习任务特定、判别性词表示的方法。

提出的方法

• 该方法基于反向传播过程中预期嵌入更新的大小来选择训练实例。
• 它识别出在梯度更新后预测嵌入变化最大的词。
• 选择标准优先考虑包含此类高影响力词的实例，以最大化嵌入空间的判别性。
• 该方法被集成到基于CNN的文本分类器中，利用端到端训练与反向传播。
• 该策略计算轻量，无需额外模型参数或复杂重训练。

实验结果

研究问题

• RQ1 如何通过聚焦于嵌入空间动态来改进神经网络文本分类的主动学习？
• RQ2 选择能引发最大嵌入更新的实例是否能实现更快收敛和更好性能？
• RQ3 以嵌入为中心的主动学习与不确定性采样及其他基线主动学习方法相比如何？
• RQ4 嵌入更新幅度在多大程度上与下游分类准确率的提升相关？

主要发现

• 所提方法在文本分类准确率上优于基线主动学习策略，包括不确定性采样。
• 由于更有效的嵌入更新，模型在更少标注实例下收敛更快。
• 预测嵌入更新幅度较大的词所在的实例始终带来更大的性能提升。
• 该方法在不增加模型复杂性或超参数的情况下依然有效。