[论文解读] Emotional Embeddings: Refining Word Embeddings to Capture Emotional Content of Words

Armin Seyeditabari, Narges Tabari+2 more|arXiv (Cornell University)|May 31, 2019

Sentiment Analysis and Opinion Mining参考文献 20被引用 14

一句话总结

本文提出一种后训练优化方法，通过使用Plutchik情绪轮和NRC情绪词典，将情感语义注入预训练词嵌入。通过优化词向量使其与心理情绪模型对齐，该方法使情感相似性度量提升了13%（Word2Vec）至29%（GloVe），表明情感敏感嵌入可提升情感分析自然语言处理任务的性能。

ABSTRACT

Word embeddings are one of the most useful tools in any modern natural language processing expert's toolkit. They contain various types of information about each word which makes them the best way to represent the terms in any NLP task. But there are some types of information that cannot be learned by these models. Emotional information of words are one of those. In this paper, we present an approach to incorporate emotional information of words into these models. We accomplish this by adding a secondary training stage which uses an emotional lexicon and a psychological model of basic emotions. We show that fitting an emotional model into pre-trained word vectors can increase the performance of these models in emotional similarity metrics. Retrained models perform better than their original counterparts from 13% improvement for Word2Vec model, to 29% for GloVe vectors. This is the first such model presented in the literature, and although preliminary, these emotion sensitive models can open the way to increase performance in variety of emotion detection techniques.

研究动机与目标

• 解决标准词嵌入在成功完成语义和句法任务的同时，仍难以捕捉情感内容的局限性。
• 开发一种方法，在无需从头开始训练的前提下，增强预训练词嵌入的情感语义。
• 评估通过情感约束优化嵌入是否能提升情感相似性度量的表现。
• 为情感敏感的词表示建立基线，可用于下游情感分析自然语言处理应用。

提出的方法

• 通过Plutchik情绪轮和NRC情绪词典推导出的情感约束，对预训练词嵌入进行二次训练阶段的优化。
• 定义损失函数，最小化相反情绪类别中词语之间的余弦相似度，同时最大化同一情绪类别内词语的相似度。
• 使用随机梯度下降进行20个周期的优化，以保持原始语义结构的同时调整嵌入空间。
• 通过加权目标函数整合情感相似性约束：$ \mathcal{L}(V') = PR(V') + NR(V') + VSP(V, V') $，其中 $ PR $ 惩罚相反情绪之间的相似度，$ NR $ 鼓励同一情绪组内的相似度，$ VSP $ 保留原始向量空间结构。
• 使用第二个情绪模型（Shaver et al., 1987）验证方法，计算组内相似度和相反情绪之间的相似度得分。

实验结果

研究问题

• RQ1 是否可以通过后训练优化过程有效将情感语义注入预训练词嵌入？
• RQ2 与原始嵌入相比，优化后的嵌入空间在情感相似性度量上的表现提升程度如何？
• RQ3 不同预训练模型（Word2Vec、GloVe、fastText、NumberBatch）在情感优化下的情感相似性保持能力有何差异？
• RQ4 该方法是否在增强同一情绪类别内相似度的同时，提升了对相反情绪（如喜悦与悲伤、愤怒与恐惧）的区分能力？

主要发现

• 情感优化后的Word2Vec模型在情感相似性度量上相比原始模型提升了13%。
• GloVe模型在情感优化后取得了最高的29%提升，优于其他模型。
• 重新训练的ConceptNet Numberbatch模型实现了最佳整体表现，组内相似度得分达到0.57，较原始的0.47显著提升。
• 优化后，相反情绪对（如喜悦与悲伤、愤怒与恐惧）之间的平均相似度显著下降，表明对情绪对立面的区分能力得到改善。
• 该方法在所有测试模型中均成功提升了组内情感相似度，证实了向量空间中情感结构的改善。
• 优化后的嵌入已通过共享链接公开，支持可复现性与进一步研究。