[论文解读] Active Discriminative Text Representation Learning

Ye Zhang, Matthew Lease+1 more|arXiv (Cornell University)|Jun 14, 2016

Machine Learning and Algorithms参考文献 19被引用 12

一句话总结

本文提出了一种基于卷积神经网络（CNNs）的新型主动学习方法，用于文本分类，通过优先选择最有可能显著提升判别性词嵌入的实例。通过估计词嵌入的期望梯度长度（EGL），并结合模型不确定性，采用随机加权方案，该方法在较少标注样本下相比基线方法表现更优，尤其在早期标注阶段优势明显。

ABSTRACT

We propose a new active learning (AL) method for text classification with convolutional neural networks (CNNs). In AL, one selects the instances to be manually labeled with the aim of maximizing model performance with minimal effort. Neural models capitalize on word embeddings as representations (features), tuning these to the task at hand. We argue that AL strategies for multi-layered neural models should focus on selecting instances that most affect the embedding space (i.e., induce discriminative word representations). This is in contrast to traditional AL approaches (e.g., entropy-based uncertainty sampling), which specify higher level objectives. We propose a simple approach for sentence classification that selects instances containing words whose embeddings are likely to be updated with the greatest magnitude, thereby rapidly learning discriminative, task-specific embeddings. We extend this approach to document classification by jointly considering: (1) the expected changes to the constituent word representations; and (2) the model's current overall uncertainty regarding the instance. The relative emphasis placed on these criteria is governed by a stochastic process that favors selecting instances likely to improve representations at the outset of learning, and then shifts toward general uncertainty sampling as AL progresses. Empirical results show that our method outperforms baseline AL approaches on both sentence and document classification tasks. We also show that, as expected, the method quickly learns discriminative word embeddings. To the best of our knowledge, this is the first work on AL addressing neural models for text classification.

研究动机与目标

• 解决现有主动学习策略在文本分类中缺乏针对深度神经网络的针对性问题。
• 通过聚焦于表征学习而非仅实例级不确定性，实现以最小标注成本提升模型性能。
• 开发一种通过策略性实例选择，快速学习任务特定判别性词嵌入的方法。
• 在长文本（文档）分类任务中，平衡早期表征学习与后期不确定性采样。
• 相比先前基于梯度的主动学习方法，降低计算成本。

提出的方法

• 该方法基于词嵌入的期望梯度长度（EGL）选择实例，衡量每个词嵌入在训练过程中预期的变化程度。
• 在句子分类任务中，模型对每个句子中所有词的EGL值取最大值，以选择最具信息量的实例。
• 在文档分类任务中，通过β分布的随机加权方案，将基于EGL的词级更新与模型不确定性得分相结合。
• 对表征改进（通过EGL）与不确定性采样之间的相对权重随时间动态调整，由参数γt控制，早期更侧重表征学习，后期更侧重不确定性。
• 通过联合优化嵌入更新与整体模型不确定性，将该方法扩展至文档级任务。
• 通过高效近似期望梯度幅值，避免了昂贵的梯度重新计算。

实验结果

研究问题

• RQ1 能否通过聚焦于嵌入级参数更新而非实例级不确定性，改进神经网络的主动学习策略？
• RQ2 在基于CNN的文本分类中，如何优先实现表征学习？
• RQ3 在文档分类任务中，嵌入改进与不确定性采样之间的动态加权是否能带来更好的性能？
• RQ4 与基于熵或随机采样的方法相比，所提方法是否能在更少标注样本下实现更高准确率？
• RQ5 与现有基于梯度的主动学习方法相比，该方法在计算效率上表现如何？

主要发现

• 在句子分类任务中，EGL-word方法在MR数据集上达到最高AUC（0.707）、CR数据集上为0.743、Subj数据集上为0.856，优于熵、随机和EGL-sm基线方法。
• 在文档分类任务中，EGL-Entropy-Beta方法整体表现最佳，AUC分别为MR（0.725）、DR（0.893）和MuR（0.736），在所有迭代中均持续优于其他方法。
• 该方法迅速拉大判别性词嵌入的距离——例如在情感分类任务中，“good”与“bad”的嵌入差异显著，证明了在早期训练阶段即实现了有效的表征学习。
• EGL-Entropy-Beta方法成功平衡了早期表征学习与后期基于不确定性的优化，全程保持了强劲的性能表现。
• 与先前基于EGL的主动学习方法相比，该方法通过避免完整的梯度重新计算，显著降低了计算成本。
• 结果表明，聚焦于嵌入级更新可实现更快收敛与更好泛化能力，尤其在标注数据稀缺时优势明显。