[论文解读] An Adversarial Approach to High-Quality, Sentiment-Controlled Neural Dialogue Generation

Xiang Kong, Bohan Li+3 more|arXiv (Cornell University)|Jan 22, 2019

Topic Modeling参考文献 32被引用 20

一句话总结

本文提出了一种条件生成对抗网络（CGAN）框架，用于生成高质量、情感可控的神经对话，其中生成器根据对话历史和情感标签生成响应，判别器则确保生成结果的流畅性与情感准确性。该方法在自动评估和人工评估中均取得了最先进性能，显著提升了基线模型的响应质量与情感控制能力。

ABSTRACT

In this work, we propose a method for neural dialogue response generation that allows not only generating semantically reasonable responses according to the dialogue history, but also explicitly controlling the sentiment of the response via sentiment labels. Our proposed model is based on the paradigm of conditional adversarial learning; the training of a sentiment-controlled dialogue generator is assisted by an adversarial discriminator which assesses the fluency and feasibility of the response generating from the dialogue history and a given sentiment label. Because of the flexibility of our framework, the generator could be a standard sequence-to-sequence (SEQ2SEQ) model or a more complicated one such as a conditional variational autoencoder-based SEQ2SEQ model. Experimental results using automatic and human evaluation both demonstrate that our proposed framework is able to generate both semantically reasonable and sentiment-controlled dialogue responses.

研究动机与目标

• 开发一种神经对话生成系统，能够生成高质量、语义恰当的响应，同时显式控制情感。
• 解决现有方法在缺乏情感控制或存在数据稀疏性与高计算成本等问题上的局限性。
• 利用条件对抗学习，联合优化响应流畅性与情感一致性。
• 支持与多种生成器架构的灵活集成，包括标准序列到序列（SEQ2SEQ）模型和基于条件变分自编码器（CVAE）的模型。
• 通过基于策略梯度的对抗训练，提升响应的多样性与质量。

提出的方法

• 该框架采用条件生成对抗网络（CGAN），包含一个生成器和一个判别器，其中生成器根据对话历史和情感标签生成响应。
• 判别器评估三元组（对话历史、情感标签、响应）的真实性，区分真实数据与生成样本。
• 生成器通过策略梯度进行训练，以最大化判别器对生成响应为真实样本的置信度，从而提升流畅性与情感一致性。
• 生成器可实现为标准序列到序列（SEQ2SEQ）模型，或基于条件变分自编码器（CVAE）的SEQ2SEQ模型。
• 训练过程使用对抗损失，促使生成器生成既流畅又与给定情感标签一致的响应。
• 该框架支持端到端的强化学习训练，实现对离散响应序列的优化。

实验结果

研究问题

• RQ1 对抗训练能否有效提升神经对话响应的流畅性与情感一致性？
• RQ2 所提出的CGAN框架是否能够在保持与对话历史语义相关性的同时，实现对生成响应情感的显式控制？
• RQ3 在响应质量与情感准确性方面，所提方法与基线模型相比表现如何？
• RQ4 将CGAN框架与基于CVAE的生成器结合，是否能进一步提升响应的多样性与质量？
• RQ5 对抗训练目标是否能在不同对话上下文与情感标签上实现良好泛化？

主要发现

• 在自动评估中，CGAN-CVAE模型在所有模型中取得了最低的困惑度（69.54）和最高的情感准确率（78.8%）。
• 人工评估显示，CGAN-CVAE模型获得了最高的质量评分（3.9）和情感准确率（78.9%），优于所有基线模型。
• CGAN-CVAE模型生成了更具多样性且与上下文相关的响应，例如对正向情感生成'omg i love it'，对负向情感生成'that’s the worst'。
• 与标准SEQ2SEQ和CVAE模型相比，CGAN框架显著提升了响应质量，情感准确率较基线SEQ2SEQ模型提高了20%。
• 判别器有效引导生成器生成既流畅又符合目标情感的响应，该结果得到自动评估与人工评估的双重验证。
• 该方法在多样化对话上下文中表现出强鲁棒性，即使面对模糊或情绪强烈的输入，也能生成恰当响应。