[论文解读] CDL: Curriculum Dual Learning for Emotion-Controllable Response Generation

Lei Shen, Yang Feng|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 47被引用 12

一句话总结

本文提出了一种名为课程双学习（Curriculum Dual Learning, CDL）的新框架，用于情感可控的回复生成。该框架通过交替训练回复生成和查询生成模型，结合双学习与课程学习机制。通过联合优化情感表达与内容一致性，CDL在强基线模型基础上显著提升了回复的连贯性、多样性与情感准确性，尤其在减少安全型回复方面表现突出。

ABSTRACT

Emotion-controllable response generation is an attractive and valuable task that aims to make open-domain conversations more empathetic and engaging. Existing methods mainly enhance the emotion expression by adding regularization terms to standard cross-entropy loss and thus influence the training process. However, due to the lack of further consideration of content consistency, the common problem of response generation tasks, safe response, is intensified. Besides, query emotions that can help model the relationship between query and response are simply ignored in previous models, which would further hurt the coherence. To alleviate these problems, we propose a novel framework named Curriculum Dual Learning (CDL) which extends the emotion-controllable response generation to a dual task to generate emotional responses and emotional queries alternatively. CDL utilizes two rewards focusing on emotion and content to improve the duality. Additionally, it applies curriculum learning to gradually generate high-quality responses based on the difficulties of expressing various emotions. Experimental results show that CDL significantly outperforms the baselines in terms of coherence, diversity, and relation to emotion factors.

研究动机与目标

• 为解决情感可控对话生成中的安全回复问题，即模型因过度依赖情感特定模式而生成通用、低质量的回复。
• 通过建模查询到回复与回复到查询生成之间的相互关系，提升查询与回复之间的一致性。
• 通过引入情感分类与情感词比例作为反馈信号，增强情感表达能力，涵盖显式与隐式情感表达。
• 通过将课程学习整合到双学习框架中，系统性地处理不同情感表达的难度差异。
• 通过利用双学习减少对平行数据的依赖，提升模型泛化能力与训练效率。

提出的方法

• CDL将情感可控的回复生成建模为双学习任务，通过强化学习交替训练正向（查询到回复）与反向（回复到查询）模型。
• 使用两种不同的奖励：一种用于情感表达（基于情感分类准确率与情感词比例），另一种用于内容一致性（重建概率）。
• 情感表达被建模为显式（通过情感词）与隐式（通过句子级情感分类），并引入预训练情感分类器提供反馈。
• 通过逐步增加训练过程中情感类别的难度，应用课程学习，从较易表达的情感开始。
• 正向与反向模型通过策略梯度强化学习联合优化，奖励信号引导生成更具连贯性与情感准确性的回复。
• 该框架通过优先在训练初期使用高质量、低难度样本，并逐步引入更难样本，有效利用噪声大、质量不均的数据集。

实验结果

研究问题

• RQ1 双学习能否提升情感可控回复生成中的内容一致性并减少安全回复？
• RQ2 在生成回复中引入查询级别的情感信息，对回复的连贯性与情感准确性有何影响？
• RQ3 课程学习在多大程度上能提升模型在不同情感类别下生成多样化且情感丰富的回复的能力？
• RQ4 将双学习与课程学习结合是否能带来优于单一方法的性能提升？
• RQ5 能否通过独立的奖励信号有效建模并优化显式与隐式情感表达？

主要发现

• 自动评估显示，CDL显著优于强基线模型，BLEU、ROUGE以及distinct-1/2得分更高，表明回复的多样性与流畅性得到提升。
• 人工评估表明，CDL生成的回复在连贯性、情感准确性与信息量方面均优于基线模型。
• 在正向生成过程中，CDL在‘Happy’情感类别上的情感分类准确率达到81.8%，反向过程中为80.8%，表明情感一致性表现优异。
• 课程学习的引入显著加快了收敛速度，并在‘Angry’与‘Sad’等困难情感类别上表现更优。
• CDL通过双反馈机制，有效减少了‘Thank you’或‘I don’t know’等安全回复的出现频率，鼓励生成内容特定且情感感知更强的回复。
• 反向生成过程（回复到查询）实现了较高的重建概率，证实CDL生成的回复在语义与情感上均与原始查询保持一致。