[论文解读] DAL: Dual Adversarial Learning for Dialogue Generation

Shaobo Cui, Rongzhong Lian+4 more|arXiv (Cornell University)|Jun 23, 2019

Topic Modeling参考文献 35被引用 10

一句话总结

本文提出了一种名为双对抗学习（Dual Adversarial Learning, DAL）的新框架，通过联合优化查询与响应生成，利用对偶学习和对抗训练来减少安全化响应，提升响应的多样性与自然性。DAL 在自动指标、人工评估和推理效率方面均优于最先进方法，其优势源于反向生成带来的对偶信号以及判别器提供的对抗信号。

ABSTRACT

In open-domain dialogue systems, generative approaches have attracted much attention for response generation. However, existing methods are heavily plagued by generating safe responses and unnatural responses. To alleviate these two problems, we propose a novel framework named Dual Adversarial Learning (DAL) for high-quality response generation. DAL is the first work to innovatively utilizes the duality between query generation and response generation to avoid safe responses and increase the diversity of the generated responses. Additionally, DAL uses adversarial learning to mimic human judges and guides the system to generate natural responses. Experimental results demonstrate that DAL effectively improves both diversity and overall quality of the generated responses. DAL outperforms the state-of-the-art methods regarding automatic metrics and human evaluations.

研究动机与目标

• 为解决开放域对话生成中安全化与不自然响应的问题。
• 通过挖掘查询与响应生成之间的对偶性，提升响应多样性。
• 通过对抗学习模仿人类判断，提升响应的自然性。
• 开发一种训练时解决方案，避免类似 MMI 方法中推理时重排序带来的低效问题。
• 实现在真实对话应用中质量与效率的双重高性能。

提出的方法

• DAL 使用两个生成对抗网络（GAN）：一个用于响应生成（查询 → 响应），另一个用于查询生成（响应 → 查询），将二者建模为对偶任务。
• 生成器通过一个对偶性约束连接，强制正向与反向生成之间的一致性，从而减少安全化响应并提升多样性。
• 通过判别器应用对抗学习，以区分真实人类响应与生成响应，引导生成器产出更自然的输出。
• 联合优化同时利用两种信号：(1) 来自对偶性约束的对偶信号，以及 (2) 来自判别器的对抗信号，二者均在训练过程中激活。
• 通过将反向依赖关系直接整合到训练目标中，避免使用强化学习和昂贵的重排序。
• 模型采用端到端训练，结合最大似然、对偶性和对抗性目标，实现高效且高质量的响应生成。

实验结果

研究问题

• RQ1 查询与响应生成之间的对偶学习是否能有效减少安全化、通用化响应的生成？
• RQ2 通过判别器进行对抗训练是否能提升生成响应的自然性与人类相似度？
• RQ3 联合集成对偶学习与对抗学习是否能同时提升响应多样性与整体质量？
• RQ4 与依赖推理时重排序的方法（如 MMI-bidi）相比，DAL 在效率方面表现如何？
• RQ5 仅依靠对偶信号是否能在无对抗训练的情况下，使响应质量超越标准 Seq2Seq？

主要发现

• DAL-DuAd 在响应质量的人工评估中取得了 0.778 的最高得分，显著优于 Seq2Seq 及其他基线模型。
• 在成对人工评估中，DAL-DuAd 在与 DAL-Dual 的对比中赢得了 27.5% 的比较，证明了对抗训练的附加优势。
• DAL-Dual 在成对评估中胜出 Seq2Seq 30.75% 的比较，证实了对偶信号的有效性。
• 效率实验表明，DAL-Dual 与 DAL-DuAd 的推理速度与 Seq2Seq 和 Adver-REIN 相当，但显著快于 MMI-bidi-5，后者因重排序导致耗时极长。
• 案例研究显示，DAL 方法生成的响应更具多样性、连贯性与上下文相关性（例如："You are so cute!" 或 "It is really amazing!"），而基线模型则多生成如 "I don’t know" 的通用响应。
• 标注者间 Fleiss’ kappa 值在 0.4 至 0.6 之间，表明中等程度的一致性，支持人工评估结果的可靠性。