[论文解读] Affective Neural Response Generation

Nabiha Asghar, Pascal Poupart+3 more|arXiv (Cornell University)|Sep 12, 2017

Topic Modeling参考文献 33被引用 4

一句话总结

本文提出了三种新颖的方法，以在神经响应生成中注入情感表现力：使用认知工程字典的情感词嵌入、基于情感的损失函数以优化情感内容，以及情感多样化的束搜索解码方法。实验表明，这些技术显著提升了生成响应的情感丰富度与自然度，在定性和定量评估中均优于标准的Seq2Seq模型。

ABSTRACT

Existing neural conversational models process natural language primarily on a lexico-syntactic level, thereby ignoring one of the most crucial components of human-to-human dialogue: its affective content. We take a step in this direction by proposing three novel ways to incorporate affective/emotional aspects into long short term memory (LSTM) encoder-decoder neural conversation models: (1) affective word embeddings, which are cognitively engineered, (2) affect-based objective functions that augment the standard cross-entropy loss, and (3) affectively diverse beam search for decoding. Experiments show that these techniques improve the open-domain conversational prowess of encoder-decoder networks by enabling them to produce emotionally rich responses that are more interesting and natural.

研究动机与目标

• 为解决现有神经对话模型中情感建模的缺失问题，这些模型常生成通用或情感平淡的回复。
• 通过多种互补技术整合情感智能，提升开放域对话系统的性能。
• 使神经模型不仅能生成语法正确的回复，还能生成情感恰当且具有吸引力的回应。
• 开发无需推理阶段显式情感输入的方法，使其在实际应用中更具实用性。
• 证明情感组件可有效结合，进一步提升回复质量。

提出的方法

• 情感词嵌入通过认知工程构建的三维情感字典学习，将词语映射到一个空间，使情感相似的词语在空间中彼此接近。
• 通过在标准交叉熵损失中增加最大化情感内容的项（如情感内容AC损失），引入情感目标函数。
• 提出情感多样化束搜索（ADBS），包含词级（WL-ADBS）和句级（SL-ADBS）两种变体，以在解码过程中促进情感表达的多样性。
• 模型采用编码器-解码器LSTM框架进行训练，情感嵌入作为输入，联合损失函数指导训练过程。
• 解码过程采用改进的束搜索，优先选择情感特征多样的回复，从而在不牺牲流畅性的前提下提升情感多样性。
• 该方法在开放域对话数据集上进行评估，与标准Seq2Seq及其他情感基线模型进行对比。

实验结果

研究问题

• RQ1 情感词嵌入能否提升神经响应生成模型的情感表现力？
• RQ2 引入基于情感的损失函数是否能生成更具情感丰富度且上下文相关的回复？
• RQ3 情感多样化束搜索能否在不降低流畅性的情况下提升生成回复的情感多样性？
• RQ4 情感嵌入、损失函数与解码策略在多大程度上可结合以进一步提升回复质量？
• RQ5 与现有情感感知模型（如情感聊天机器ECM）相比，所提方法在实用性与性能方面表现如何？

主要发现

• 情感词嵌入与情感内容（AC）损失函数的结合，显著提升了回复的情感恰当性与整体质量，优于标准Seq2Seq模型。
• 情感多样化束搜索（SL-ADBS）在生成情感多样且上下文相关的回复方面，优于标准束搜索与基于汉明距离的多样性方法。
• 三者结合——情感嵌入、AC损失与SL-ADBS——实现了最佳整体性能，表明这些策略具有正交性与互补性。
• 案例研究显示，加入情感组件的模型能生成更具情感细腻度与吸引力的回复，如“我仍然爱你！”或“这是自杀！”，而基线模型则生成如“别为此烦恼了。”等通用回应。
• 在实际应用场景中，所提方法优于现有模型（如ECM），因其无需用户指定目标情感，更适用于真实部署。
• 定量结果表明，最佳模型变体在情感恰当性与多样性指标上均取得显著提升，证实了所提情感整合策略的有效性。