[论文解读] Aff2Vec: Affect--Enriched Distributional Word Representations

Sopan Khosla, Niyati Chhaya+1 more|arXiv (Cornell University)|May 21, 2018

Sentiment Analysis and Opinion Mining参考文献 46被引用 3

一句话总结

Aff2Vec 提出一种后处理方法，通过利用词典资源中的情感维度（情感-唤醒-主导力，VAD）为预训练词嵌入（如 GloVe、Word2Vec）注入情感信息。通过结合情感语义的 Affect-APPEND 和对抗性训练等技术，Aff2Vec 在内在词相似性任务和情感分析、人格检测、挫败感预测等外部 NLP 应用中表现更优，超越了当前最先进基线模型。

ABSTRACT

Human communication includes information, opinions, and reactions. Reactions are often captured by the affective-messages in written as well as verbal communications. While there has been work in affect modeling and to some extent affective content generation, the area of affective word distributions in not well studied. Synsets and lexica capture semantic relationships across words. These models however lack in encoding affective or emotional word interpretations. Our proposed model, Aff2Vec provides a method for enriched word embeddings that are representative of affective interpretations of words. Aff2Vec outperforms the state--of--the--art in intrinsic word-similarity tasks. Further, the use of Aff2Vec representations outperforms baseline embeddings in downstream natural language understanding tasks including sentiment analysis, personality detection, and frustration prediction.

研究动机与目标

• 为解决传统分布语言词嵌入缺乏情感表征的问题，这些嵌入虽能捕捉语义，但无法反映情感或心理状态。
• 开发一种方法，在不修改原始训练过程的前提下，为现有词嵌入注入情感信息。
• 评估情感增强对内在词相似性任务及外部 NLP 任务（如情感分析与人格检测）的影响。
• 引入一个新的由人工标注的数据集 ENRON-FFP，包含挫败感、正式程度和礼貌程度标签，用于人际交流分析。

提出的方法

• Aff2Vec 通过对预训练词嵌入（如 GloVe、Word2Vec）进行后处理，将其与来自词典资源（如 Senti-WordNet 和 VADER）的情感向量对齐。
• 该方法采用 Affect-APPEND 技术，将情感向量（情感、唤醒、主导力）添加到原始嵌入空间，生成增强表示。
• 通过对抗性训练（counterfitting）优化嵌入，使具有相似情感特征的词语在向量空间中更接近，同时保持语义相似性。
• 该方法具有通用性，不仅限于 VAD 空间，还可应用于任意预训练嵌入模型。
• 情感增强无需重新训练，计算效率高，且与现有 NLP 流程完全兼容。
• 采用 t-SNE 可视化及基于噪声的评估方法（Polarity-Noise@k、Granular-Noise@k），定性评估增强表示的鲁棒性与可解释性。

实验结果

研究问题

• RQ1 后处理技术是否能在不重新训练的情况下有效增强预训练词嵌入的情感语义？
• RQ2 引入情感-唤醒-主导力维度在多大程度上提升了词相似性与下游 NLP 任务的性能？
• RQ3 情感增强嵌入在内在与外在评估中，相较于最先进基线模型，优势有多大？
• RQ4 增强后的嵌入在多大程度上捕捉了极性与情感强度等心理语言学特性？
• RQ5 不同情感整合策略（如 Affect-APPEND 与对抗性训练）对嵌入质量与任务性能有何影响？

主要发现

• 在 SimLex-999 数据集上，Aff2Vec 达到斯皮尔曼等级相关系数 ρ = 0.75，超越先前最先进模型的 ρ = 0.74。
• 在 SimVerb-3500 数据集上，采用 Affect-APPEND 与对抗性训练的 Aff2Vec 表现优于报告的 SOTA，证实其在多维词相似性任务上的性能提升。
• 在 ENRON-FFP 数据集的挫败感、正式程度与礼貌程度预测任务中，Affect-APPEND 变体取得最低均方误差，挫败感与礼貌程度的误差最低。
• 在人格检测任务中，Affect-APPEND 变体在神经质、宜人性与开放性维度上表现最佳，GloVe 在尽责性维度上也优于先前工作。
• 在情感分析任务中，Affect-APPEND 变体报告了最高准确率，表明其在所有情感分类任务中均表现更优。
• 定性评估显示，Affect-APPEND 变体在所有 k 值下均表现出更低的 Granular-Noise@k 与 Polarity-Noise@k，表明嵌入空间中情感结构更具鲁棒性与可解释性。