[论文解读] A Simple Dual-decoder Model for Generating Response with Sentiment

Xiuyu Wu, Yunfang Wu|arXiv (Cornell University)|May 16, 2019

Topic Modeling参考文献 16被引用 8

一句话总结

本文提出一种简单的双解码器序列到序列模型，通过将两个针对情感的解码器连接到共享编码器，实现指定情感的响应生成。该模型在情感准确率（相比单解码器基线最高提升25.1分）和词汇多样性（distinct-1和distinct-2得分提升近10分）方面均取得显著提升，展现出对情感表达和响应多样性的优越控制能力。

ABSTRACT

How to generate human like response is one of the most challenging tasks for artificial intelligence. In a real application, after reading the same post different people might write responses with positive or negative sentiment according to their own experiences and attitudes. To simulate this procedure, we propose a simple but effective dual-decoder model to generate response with a particular sentiment, by connecting two sentiment decoders to one encoder. To support this model training, we construct a new conversation dataset with the form of (post, resp1, resp2) where two responses contain opposite sentiment. Experiment results show that our dual-decoder model can generate diverse responses with target sentiment, which obtains significant performance gain in sentiment accuracy and word diversity over the traditional single-decoder model. We will make our data and code publicly available for further study.

研究动机与目标

• 为解决开放域对话系统中生成多样化、情感可控响应的挑战。
• 改进单解码器模型在情感准确率和响应多样性方面表现不佳的问题。
• 构建一个新的对话数据集，其中包含成对相反情感的响应，用于训练和评估。
• 开发一种简单但高效的双解码器架构，实现对特定情感响应的条件生成。

提出的方法

• 一个共享编码器处理输入话语并为两个解码器生成上下文表征。
• 训练两个独立的解码器：一个用于正面情感，一个用于负面情感，每个解码器均基于相同的编码后话语进行条件生成。
• 推理阶段通过情感标签选择合适的解码器，确保目标情感的控制。
• 模型采用双解码器结构，每个解码器基于情感特定的训练数据学习生成响应。
• 编码器和两个解码器均使用300维的词嵌入和100维的隐藏状态。
• 通过基于词典的方法计算情感得分：$\text{scoreSent} = N_{\text{pos}} - N_{\text{neg}}$，根据符号分配正向或负向情感。

实验结果

研究问题

• RQ1 简单的双解码器架构能否在保持多样性的同时有效生成指定情感的响应？
• RQ2 与单解码器模型相比，双解码器模型在情感准确率和响应多样性方面表现如何？
• RQ3 该模型在生成的响应中捕捉并正确使用情感特异性词汇的程度如何？
• RQ4 在训练中使用成对的正负情感响应是否能提升情感控制能力和生成质量？

主要发现

• 该双解码器模型在测试集上达到89.1%的情感准确率，相比单解码器基线（64.0%）提升了25.1个百分点。
• 与单解码器基线相比，该模型在distinct-1和distinct-2指标上词汇多样性提升了近10分。
• 双解码器模型在生成的响应中使用了496个不同的正面情感词汇和591个不同的负面情感词汇，显示出比基线更广泛的情感词汇使用。
• 错误使用情感词汇的错误率降至6.2%（负面响应）和8.3%（正面响应），表明情感一致性更优。
• 定性案例研究显示，该模型生成的响应更具多样性且情感一致性更强，生成结果明确体现了预期的情感倾向。