[论文解读] Big Data Small Data, In Domain Out-of Domain, Known Word Unknown Word: The Impact of Word Representation on Sequence Labelling Tasks

Lizhen Qu, Gabriela Ferraro+4 more|arXiv (Cornell University)|Apr 21, 2015

Topic Modeling参考文献 37被引用 23

一句话总结

本文在四个序列标注任务（词性标注、短语切分、命名实体识别、多词表达识别）上评估了五种词表示方法——Brown聚类和四种神经网络词嵌入。研究发现，词嵌入和Brown聚类在未登录词（OOV）和分布外词汇上显著提升性能，且在训练过程中更新嵌入向量带来的收益微乎其微，并存在过拟合风险；在不同任务中，也未发现某一种嵌入方法始终优于其他方法。

ABSTRACT

Word embeddings -- distributed word representations that can be learned from unlabelled data -- have been shown to have high utility in many natural language processing applications. In this paper, we perform an extrinsic evaluation of five popular word embedding methods in the context of four sequence labelling tasks: POS-tagging, syntactic chunking, NER and MWE identification. A particular focus of the paper is analysing the effects of task-based updating of word representations. We show that when using word embeddings as features, as few as several hundred training instances are sufficient to achieve competitive results, and that word embeddings lead to improvements over OOV words and out of domain. Perhaps more surprisingly, our results indicate there is little difference between the different word embedding methods, and that simple Brown clusters are often competitive with word embeddings across all tasks we consider.

研究动机与目标

• 评估不同词表示方法在受控条件下对序列标注任务的影响。
• 探究词嵌入是否在训练数据有限时优于独热编码或Brown聚类，尤其在低资源设置下。
• 评估在特定任务训练过程中对预训练词嵌入进行微调对性能和向量几何结构的影响。
• 分析不同表示方法在未登录词（OOV）和分布外数据上的表现。
• 确定是否存在一种词嵌入方法在多个序列标注任务中始终优于其他方法。

提出的方法

• 评估了五种词表示方法：Brown聚类、Collobert & Weston（CW）、CBOW、Skip-gram和GloVe。
• 所有词表示均作为CRF-based序列标注模型的输入特征，用于词性标注、短语切分、命名实体识别和多词表达识别任务。
• 通过从仅100个样本到完整训练集的不同规模标注数据进行训练，以评估数据效率。
• 在微调实验中，使用反向传播在序列标注训练过程中对词嵌入进行微调，而其他方法保持固定。
• 在分布内、分布外和OOV词子集上，使用标准指标（F1、准确率）衡量性能。
• 对微调过程中向量变化的几何特性进行分析，以评估其对词表示空间的影响。

实验结果

研究问题

• RQ1 RQ1：词嵌入和Brown聚类是否在序列标注任务中优于独热编码的单个词特征？
• RQ2 RQ2：词嵌入是否能减少对大规模标注数据的依赖，特别是在低资源设置下？
• RQ3 RQ3：在特定任务训练过程中对预训练词嵌入进行微调的实证效果和几何影响是什么？
• RQ4 RQ4：不同词表示方法在未登录词和分布外数据上的表现如何？
• RQ5 RQ5：是否存在一种在不同序列标注任务中始终表现更优的词嵌入方法？

主要发现

• 词嵌入和Brown聚类显著优于独热编码的单个词特征，尤其在训练数据有限时，仅需100–200个样本即可取得具有竞争力的结果。
• 在训练过程中更新词嵌入仅带来微小的性能提升，且显著增加了过拟合风险，尤其在低频词和OOV词上。
• Brown聚类在所有四项任务中通常与神经网络词嵌入表现相当，表明其具有强大的归纳偏置和鲁棒性。
• 无论是词嵌入还是Brown聚类，均能提升OOV和分布外词汇的性能，且在不更新嵌入时达到最佳效果。
• 在所有任务中，没有一种词嵌入方法始终优于其他方法；Skip-gram在词性标注中表现略优，但该优势无法推广至其他任务。
• 作者最佳模型与SOTA系统之间的性能差距，归因于模型复杂度（如一阶CRF vs. 二阶CRF）和超参数调优，而非词表示方法的选择。