[论文解读] Affect-LM: A Neural Language Model for Customizable Affective Text Generation

Sayan Ghosh, Mathieu Chollet+3 more|arXiv (Cornell University)|Apr 22, 2017

Topic Modeling参考文献 20被引用 22

一句话总结

Affect-LM 是一种基于 LSTM 的新型神经语言模型，通过条件化情感类别和可定制的情感强度参数 β，生成带有情感色彩的对话文本。该模型在语言建模性能上有所提升（平均困惑度降低 1.94%），并在五种情感类别下生成语法正确、感知上富有表现力的句子，该结论通过众包感知研究和情感区分性词嵌入得到验证。

ABSTRACT

Human verbal communication includes affective messages which are conveyed through use of emotionally colored words. There has been a lot of research in this direction but the problem of integrating state-of-the-art neural language models with affective information remains an area ripe for exploration. In this paper, we propose an extension to an LSTM (Long Short-Term Memory) language model for generating conversational text, conditioned on affect categories. Our proposed model, Affect-LM enables us to customize the degree of emotional content in generated sentences through an additional design parameter. Perception studies conducted using Amazon Mechanical Turk show that Affect-LM generates naturally looking emotional sentences without sacrificing grammatical correctness. Affect-LM also learns affect-discriminative word representations, and perplexity experiments show that additional affective information in conversational text can improve language model prediction.

研究动机与目标

• 开发一种能够以可定制情感强度生成情感丰富对话文本的神经语言模型。
• 探究上下文词语中的情感信息是否能提升语言模型的预测性能。
• 评估生成句子在情感表现力和语法正确性方面的感知质量。
• 探索模型是否学习到能反映情感语义的情感区分性词表示。

提出的方法

• 该模型在 LSTM 语言模型基础上，通过使用 LIWC 词典进行关键词检测，引入一个额外的情感类别嵌入向量 et−1。
• 可定制的情感强度参数 β 控制生成文本中情感表达的强度。
• 模型使用上下文隐藏状态 ht 和情感类别嵌入 et−1 来预测下一个词 wt，共享输出权重矩阵 V 以捕捉情感与词语之间的相关性。
• 该模型在 Fisher 对话语料库上进行训练，并在 DAIC、SEMAINE 和 CMU-MOSI 情感语音语料库上进行微调。
• 情感类别通过基于 LIWC 的关键词检测系统，从上下文中的情感色彩词语中自动推断得出。
• 通过可视化词嵌入以评估情感聚类情况，每个词语的嵌入均反映其情感类别。

实验结果

研究问题

• RQ1 Affect-LM 是否能通过可定制的模型参数 β，为目标情感生成不同程度情感强度的句子？
• RQ2 在众包感知研究中，生成的句子是否被评价为情感富有表现力且语法正确？
• RQ3 通过上下文词语自动推断情感类别是否能提升语言建模性能（以困惑度衡量）？
• RQ4 Affect-LM 中学习到的词表示是否能反映情感类别的情感差异？

主要发现

• 在 Amazon Mechanical Turk 上进行的感知研究证实，Affect-LM 能够在五种情感类别（快乐、悲伤、愤怒、焦虑、积极）下生成情感富有表现力的句子，且随着 β 值增加，表现力增强。
• 随着 β 值升高，语法正确性略有下降，但整体仍可接受，仅在 β=3 时，悲伤和焦虑类别出现显著下降。
• Affect-LM 在 Fisher 语料库上实现了平均 1.94% 的困惑度降低（从 73.98 降至 72.54），在微调语料上实现了 1.31% 的降低（从 60.05 降至 59.26），表明语言建模性能有所提升。
• 通过 Pillai’s Trace F(4,421)=6.44, p<.0001 的统计检验，证实 β 能显著调节情感效价和焦虑水平。
• 图 4 中可视化的情感嵌入显示，积极情绪与消极情绪（悲伤、愤怒、焦虑）明显聚类分离，证实了情感区分性学习的有效性。
• 在情感词密度较高的语料中观察到更大的困惑度改善（如 CMU-MOSI 和 SEMAINE），分别降低了 3.55 和 2.06 个点。