[论文解读] Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues

Ruijian Xu, Chongyang Tao+4 more|arXiv (Cornell University)|Sep 14, 2020

Topic Modeling参考文献 28被引用 10

一句话总结

该论文提出了一种多任务学习框架，通过联合训练一个预训练语言模型（PLM）与四项自监督任务——下一话轮预测、话语修复、不连贯性检测和一致性判别——来增强基于检索的对话响应选择。该方法显著提升了上下文理解与响应选择性能，在两个基准数据集上分别取得了2.9%和4.8%的R@10@1绝对提升，达到当前最优结果。

ABSTRACT

Building an intelligent dialogue system with the ability to select a proper response according to a multi-turn context is a great challenging task. Existing studies focus on building a context-response matching model with various neural architectures or PLMs and typically learning with a single response prediction task. These approaches overlook many potential training signals contained in dialogue data, which might be beneficial for context understanding and produce better features for response prediction. Besides, the response retrieved from existing dialogue systems supervised by the conventional way still faces some critical challenges, including incoherence and inconsistency. To address these issues, in this paper, we propose learning a context-response matching model with auxiliary self-supervised tasks designed for the dialogue data based on pre-trained language models. Specifically, we introduce four self-supervised tasks including next session prediction, utterance restoration, incoherence detection and consistency discrimination, and jointly train the PLM-based response selection model with these auxiliary tasks in a multi-task manner. By this means, the auxiliary tasks can guide the learning of the matching model to achieve a better local optimum and select a more proper response. Experiment results on two benchmarks indicate that the proposed auxiliary self-supervised tasks bring significant improvement for multi-turn response selection in retrieval-based dialogues, and our model achieves new state-of-the-art results on both datasets.

研究动机与目标

• 为解决现有基于检索的对话系统依赖单任务学习且忽略对话数据中丰富训练信号的局限性。
• 通过利用针对对话结构与语义设计的自监督任务，提升上下文理解与响应选择能力。
• 在不修改基于PLM的匹配架构核心的前提下，增强响应选择的特征学习。
• 在长上下文和低资源场景下，实现更好的泛化性与鲁棒性。

提出的方法

• 引入四项对话特定的自监督任务：下一话轮预测、话语修复、不连贯性检测和一致性判别。
• 在多任务学习设置下，联合训练基于PLM的上下文-响应匹配模型与这些辅助任务。
• 使用共享的BERT-based编码器提取对话上下文和响应候选的上下文表征。
• 为每个自监督目标应用特定任务头，同时共享主编码器参数。
• 在训练过程中联合优化主响应选择任务与四项辅助任务的损失。
• 将相同的自监督学习模式应用于基于PLM和非PLM的响应选择模型，以进行消融实验与泛化性分析。

实验结果

研究问题

• RQ1 为对话数据设计的自监督任务是否能改善基于检索的对话中的上下文-响应匹配？
• RQ2 像话语修复和一致性判别这样的辅助任务如何促进更好的响应选择？
• RQ3 通过自监督目标进行多任务训练是否能提升在不同上下文长度和对话领域下的泛化能力？
• RQ4 所提出的自监督学习模式能否有效迁移至非PLM-based的响应选择模型？

主要发现

• 与之前的SOTA模型相比，该方法在Ubuntu对话语料库上的R@10@1指标上实现了2.9%的绝对提升。
• 在电商对话语料库上，该模型在R@10@1指标上实现了4.8%的绝对提升，表明在多样化领域中具有稳定的增益。
• 该模型在不同上下文长度下表现出更强的稳定性，相较于基线模型，在长上下文场景下的性能下降更缓慢。
• 引入自监督任务有助于更好的局部优化，并提升了响应选择的特征学习能力。
• 自监督学习模式不仅对基于PLM的模型有效，也适用于非PLM-based架构，显示出广泛适用性。