[论文解读] DLGNet: A Transformer-based Model for Dialogue Response Generation

Oluwatobi Olabiyi, Erik T. Mueller|arXiv (Cornell University)|Jul 26, 2019

Topic Modeling参考文献 37被引用 5

一句话总结

DLGNet 是一种基于 Transformer 的多轮对话响应生成模型，通过引入长距离注意力机制和随机信息填充，显著提升了响应的相关性、多样性和连贯性。尽管仅采用最大似然训练，其在 Movie Triples 和 Ubuntu Dialogue 数据集上的 BLEU、ROUGE 和不同 n-gram 评估指标上均达到了最先进性能。

ABSTRACT

Neural dialogue models, despite their successes, still suffer from lack of relevance, diversity, and in many cases coherence in their generated responses. These issues can attributed to reasons including (1) short-range model architectures that capture limited temporal dependencies, (2) limitations of the maximum likelihood training objective, (3) the concave entropy profile of dialogue datasets resulting in short and generic responses, and (4) the out-of-vocabulary problem leading to generation of a large number of tokens. On the other hand, transformer-based models such as GPT-2 have demonstrated an excellent ability to capture long-range structures in language modeling tasks. In this paper, we present DLGNet, a transformer-based model for dialogue modeling. We specifically examine the use of DLGNet for multi-turn dialogue response generation. In our experiments, we evaluate DLGNet on the open-domain Movie Triples dataset and the closed-domain Ubuntu Dialogue dataset. DLGNet models, although trained with only the maximum likelihood objective, achieve significant improvements over state-of-the-art multi-turn dialogue models. They also produce best performance to date on the two datasets based on several metrics, including BLEU, ROUGE, and distinct n-gram. Our analysis shows that the performance improvement is mostly due to the combination of (1) the long-range transformer architecture with (2) the injection of random informative paddings. Other contributing factors include the joint modeling of dialogue context and response, and the 100% tokenization coverage from the byte pair encoding (BPE).

研究动机与目标

• 为解决神经对话模型中持续存在的问题，如多轮对话中生成的通用、简短且不连贯的响应。
• 探究具备长距离建模能力的 Transformer 架构是否能够克服循环神经网络在捕捉长期依赖关系方面的局限。
• 评估随机信息填充在缓解对话数据集中凹形熵分布问题中的影响。
• 通过字节对编码（BPE）实现 100% 的标记覆盖，以减少未登录词（OOV）问题。
• 评估在标准最大似然训练下，联合建模对话上下文与响应是否能提升生成质量。

提出的方法

• 采用基于 Transformer 的架构，以建模多轮对话上下文中的长距离依赖关系。
• 在训练序列中注入随机信息填充，以对抗凹形熵分布问题，并防止模型过度拟合低熵区域。
• 使用字节对编码（BPE）确保输入和输出标记的 100% 覆盖，最大限度减少 OOV 问题。
• 仅使用最大似然估计（MLE）进行端到端训练，避免使用复杂的辅助目标。
• 将整个对话历史与响应联合建模为单一自回归序列，以提升上下文理解能力。
• 采用多头自注意力机制，捕捉对话轮次之间的长距离依赖关系。

实验结果

研究问题

• RQ1 基于 Transformer 的模型若结合长距离注意力机制，是否能显著提升多轮对话生成中响应的相关性与连贯性？
• RQ2 在对话序列中注入随机信息填充，是否能缓解由凹形熵分布导致的短促、通用化响应问题？
• RQ3 与词级别标记化相比，基于 BPE 的标记化在多大程度上减少了未登录词问题？
• RQ4 在结合架构创新与数据级改进的前提下，仅使用标准 MLE 目标（无对抗训练或强化学习组件）是否仍能实现对话生成的最先进性能？
• RQ5 与基于独立上下文表示的自回归解码相比，联合建模对话上下文与响应对生成质量有何影响？

主要发现

• 在 Movie Triples 数据集上，DLGNet 在 BLEU、ROUGE 和不同 n-gram 评估指标上均达到最先进性能，优于先前模型。
• 在 Ubuntu Dialogue 数据集上，DLGNet 达到了迄今报告的最佳结果，BLEU 和 ROUGE 分数均有显著提升。
• 参数量为 345M 的模型（DLGNet-345M）生成的响应比更小的变体以及 HRED、VHRED 和 hredGAN 等基线模型更具多样性和上下文相关性。
• 随机信息填充显著降低了模型对短促、通用化响应的倾向，通过干扰模型对数据中低熵区域的偏好来实现。
• 长距离注意力与 BPE 标记化的结合显著减少了 <UNK> 标记的数量，提升了标记覆盖度与响应质量。
• 即使未使用强化学习或 GAN 等复杂训练目标，DLGNet 仍表现出强大性能，证明了架构与数据级设计选择的有效性。