[论文解读] Category Enhanced Word Embedding

Chunting Zhou, Chonglin Sun+2 more|arXiv (Cornell University)|Nov 27, 2015

Topic Modeling参考文献 7被引用 7

一句话总结

本文提出类别增强词嵌入（CeWE）与全局监督CeWE（GCeWE），通过文档级训练方法将显式的文档类别信息整合到词表示学习中。通过结合局部上下文与全局类别监督，该模型在词相似度、类比、情感分析和文本分类任务上均达到最先进性能，同时学习到能反映主题语义的有意义类别嵌入。

ABSTRACT

Distributed word representations have been demonstrated to be effective in capturing semantic and syntactic regularities. Unsupervised representation learning from large unlabeled corpora can learn similar representations for those words that present similar co-occurrence statistics. Besides local occurrence statistics, global topical information is also important knowledge that may help discriminate a word from another. In this paper, we incorporate category information of documents in the learning of word representations and to learn the proposed models in a document-wise manner. Our models outperform several state-of-the-art models in word analogy and word similarity tasks. Moreover, we evaluate the learned word vectors on sentiment analysis and text classification tasks, which shows the superiority of our learned word vectors. We also learn high-quality category embeddings that reflect topical meanings.

研究动机与目标

• 通过将显式的文档类别信息作为辅助监督，改进词表示学习。
• 通过结合局部上下文与来自文档级别类别的全局主题知识，增强词嵌入。
• 评估类别感知词嵌入是否能提升下游NLP任务（如情感分析和文本分类）的性能。
• 学习高质量、语义有意义的类别嵌入，以反映主题含义。
• 探究结合局部上下文与全局类别监督对词向量质量的影响。

提出的方法

• 采用文档级训练框架，每个文档关联来自Wikipedia/WikiData的多个显式类别。
• 提出CeWE，将类别信息直接整合到CBOW模型的上下文窗口中，实现局部监督。
• 提出GCeWE，通过在局部训练后训练一个独立分类器来从词向量预测文档类别，增加全局监督。
• 将词和类别均表示为相同维度的密集实值向量，支持联合优化。
• 利用t-SNE可视化分析类别嵌入的语义聚类及其最近邻词。
• 在基于大规模Wikipedia语料库（附带类别标签）上训练模型，使用增强类别信号的word2vec风格目标函数。

实验结果

研究问题

• RQ1 显式的文档类别信息能否提升分布式词表示的质量？
• RQ2 结合局部上下文与全局类别监督如何影响词类比与相似度性能？
• RQ3 类别增强的词嵌入是否在下游NLP任务（如情感分析与文本分类）中泛化能力更强？
• RQ4 所学习的类别嵌入能否捕捉有意义的主题语义并形成连贯的聚类？
• RQ5 在不同任务上最大化性能的最优窗口大小与类别整合策略为何？

主要发现

• CeWE在全部五个词相似度数据集上优于CBOW与GloVe，最佳性能出现在上下文窗口大小为10时。
• GCeWE在词类比任务中表现最佳，超越CeWE与GloVe，尤其在窗口大小为10时优势显著。
• 在情感分类任务（IMDB）中，GCeWE准确率达88.56%，优于CBOW（87.20%）与GloVe（85.68%）。
• 在文本分类任务（20NewsGroup）中，GCeWE准确率达78.04%，超过CBOW（73.22%）与GloVe（68.06%）。
• 模型学习到的类别嵌入成功聚类出语义相关的主题，t-SNE可视化显示相关类别及其最近邻词形成连贯的分组。
• 结果表明，通过类别预测实现的全局监督可显著提升词向量质量，尤其在捕捉句法与语义规律方面优于仅依赖局部上下文的模型。