[论文解读] Class Vectors: Embedding representation of Document Classes

Devendra Singh Sachan, Shailesh Kumar|arXiv (Cornell University)|Aug 2, 2015

Sentiment Analysis and Opinion Mining参考文献 13被引用 3

一句话总结

本文提出类别向量（Class Vectors）方法，该方法在与词和段落相同的嵌入空间中学习文档类别的稠密向量表示。通过使用改进的跳字模型联合训练类别向量与词嵌入，该方法将类别向量与词向量之间的余弦相似度作为文本分类的特征，在情感分析任务（如Yelp和Amazon评论）中实现了最先进性能。

ABSTRACT

Distributed representations of words and paragraphs as semantic embeddings in high dimensional data are used across a number of Natural Language Understanding tasks such as retrieval, translation, and classification. In this work, we propose "Class Vectors" - a framework for learning a vector per class in the same embedding space as the word and paragraph embeddings. Similarity between these class vectors and word vectors are used as features to classify a document to a class. In experiment on several sentiment analysis tasks such as Yelp reviews and Amazon electronic product reviews, class vectors have shown better or comparable results in classification while learning very meaningful class embeddings.

研究动机与目标

• 为解决传统文本分类方法依赖稀疏的词袋特征的局限性，提出稠密的、语义化的类别表示。
• 探究类别级别嵌入是否能捕捉到与词和段落嵌入相似的判别性语义模式。
• 通过利用词汇中类别向量与词向量之间的语义相似性，提升文档分类性能。
• 在情感分析基准上，评估类别向量在低资源和高资源设置下的有效性。
• 通过与判别性词语的语义相似性分析，探究所学类别向量的可解释性和质量。

提出的方法

• 该模型扩展了跳字框架，以在共享嵌入空间中联合训练词向量和类别向量。
• 每个类别由唯一的类别ID表示，该ID与对应文档中每个词在滑动窗口内的共现。
• 目标函数结合了标准跳字预测损失与一个新项，以最大化给定类别向量时预测词的概率。
• 通过点积和Softmax归一化计算类别向量与词向量之间的相似度，为每个类别生成概率得分。
• 模型使用负采样和分层Softmax，以高效优化大规模目标函数。
• 在分类阶段，使用词-类别相似度得分作为特征，结合逻辑回归分类器进行预测。

实验结果

研究问题

• RQ1 类别级别嵌入是否能在与词嵌入相同的向量空间中被有效学习，从而提升文本分类性能？
• RQ2 在情感分类任务中，类别向量与传统词袋特征及深度学习基线方法（如PV-DBOW、CNN）相比表现如何？
• RQ3 类别向量是否能捕捉到与定义各类别的判别性词语之间的有意义语义关系？
• RQ4 训练期间的数据洗牌以及对所有类别进行联合训练，对类别向量的质量和判别能力有何影响？
• RQ5 基于类别向量的特征选择方法是否能优于基于频率的特征选择方法，以识别具有信息量的低频词？

主要发现

• 在Yelp评论数据集上，所提出的类别向量方法结合逻辑回归（CV-LR）达到94.83%的准确率，优于所有基线方法，仅低于基于CNN的方法。
• 在Amazon电子商品评论数据集上，CV-LR模型达到91.70%的准确率，超过词袋特征、朴素贝叶斯和PV-DBOW基线方法。
• 类别向量学习到了有意义的语义关联：正面类别向量与'fantastic'、'awesome'、'very_pleased'等词高度相似，而负面类别向量则与'awful'、'terrible'、'piece_of_crap'等词相似。
• 对类别向量进行归一化（norm CV-LR）进一步提升了性能，在Yelp数据集上达到94.91%的准确率，表明归一化有助于泛化。
• 该方法表明，低频词可能与类别具有较高的互信息，显示出相对于基于文档频率的特征选择方法的优势。
• 训练期间对语料进行洗牌至关重要——在孤立类别数据上训练类别向量会降低其判别能力，证实了跨所有类别进行联合学习的必要性。