[论文解读] Learning a Simple and Effective Model for Multi-turn Response Generation with Auxiliary Tasks

Yufan Zhao, Can Xu+2 more|arXiv (Cornell University)|Apr 4, 2020

Topic Modeling参考文献 34被引用 14

一句话总结

该论文提出了一种基于Transformer的简单而有效的多轮对话回复生成模型，通过引入四项辅助任务——词语顺序恢复、话语顺序恢复、掩码词语恢复和掩码话语恢复——在不增加模型复杂度的前提下增强上下文理解能力。该方法在三个基准测试上实现了最先进水平的回复质量，且推理速度比深层模型如ReCoSa快至2倍。

ABSTRACT

We study multi-turn response generation for open-domain dialogues. The existing state-of-the-art addresses the problem with deep neural architectures. While these models improved response quality, their complexity also hinders the application of the models in real systems. In this work, we pursue a model that has a simple structure yet can effectively leverage conversation contexts for response generation. To this end, we propose four auxiliary tasks including word order recovery, utterance order recovery, masked word recovery, and masked utterance recovery, and optimize the objectives of these tasks together with maximizing the likelihood of generation. By this means, the auxiliary tasks that relate to context understanding can guide the learning of the generation model to achieve a better local optimum. Empirical studies with three benchmarks indicate that our model can significantly outperform state-of-the-art generation models in terms of response quality on both automatic evaluation and human judgment, and at the same time enjoys a much faster decoding process.

研究动机与目标

• 开发一种轻量级神经模型，用于多轮对话回复生成，在不使用深层架构的情况下保持高性能。
• 通过将上下文理解能力迁移至辅助学习任务，减少对复杂层次化或深层Transformer编码器的依赖。
• 通过生成任务与上下文感知辅助任务的联合优化，提升回复质量。
• 在自动评估与人工评估中均优于最先进模型的同时，实现更快的推理速度。

提出的方法

• 模型采用单层自注意力编码器和单层上下文注意力解码器，构成轻量级的序列到序列架构。
• 引入四项辅助任务：词语顺序恢复、话语顺序恢复、掩码词语预测和掩码话语预测，以增强上下文表征学习能力。
• 所有任务共享同一编码器，并通过最大似然估计（MLE）与回复生成任务联合优化。
• 辅助任务通过强调上下文中的序列依赖关系与语义连贯性，引导模型学习更优的局部表征。
• 模型采用端到端训练，多任务目标函数结合了MLE与四项辅助损失。
• 该架构在三个基准数据集上进行了评估：Ubuntu对话语料库、DailyDialog和PERSONA-CHAT。

实验结果

研究问题

• RQ1 是否一种参数极少的简单神经架构能够在多轮对话回复生成任务中超越深层复杂模型？
• RQ2 辅助任务在轻量级模型中能在多大程度上提升上下文理解能力？
• RQ3 所提模型在回复质量与推理速度方面与最先进模型相比表现如何？
• RQ4 辅助任务对浅层模型是否比对深层模型更有效？
• RQ5 在不同对话数据集上，哪些辅助任务对性能提升贡献最大？

主要发现

• 所提模型在所有三个基准测试的自动评估与人工评估指标上，均优于最先进模型如ReCoSa、HRAN和HRED。
• 在PERSONA-CHAT数据集上，与SSN相比，人工评估胜率达49%；与ReCoSa相比，胜率为39%，分别获得显著的Kappa分数0.695和0.566。
• 在DailyDialog、PERSONA-CHAT和Ubuntu数据集上，该模型分别达到了4层、6层和7层Transformer编码器的性能水平，表明其在极浅深度下仍具备强大的表征能力。
• 尽管参数量少于HRED，该模型的推理速度比ReCoSa快2倍，凸显其效率优势。
• 消融实验表明，移除任意一项辅助任务均导致性能下降，其中在DailyDialog和UDC上，顺序恢复任务更为关键；在PERSONA-CHAT上，词级别恢复任务更为重要。
• 辅助任务对浅层模型更具益处；随着模型深度增加，其影响逐渐减弱，证实了其在实现高效而有效学习中的关键作用。