[论文解读] Enhancing Dialogue Generation via Multi-Level Contrastive Learning

Xin Li, Piji Li+3 more|arXiv (Cornell University)|Sep 19, 2020

Topic Modeling参考文献 39被引用 4

一句话总结

本文提出了一种多层级对比学习框架，通过在标记和实例两个层面建模响应质量的细粒度差异，提升了对话生成性能。该方法引入了一种排名感知校准（RC）网络，通过蒙特卡洛滚动（Monte-Carlo rollout）实现标记级别的质量估计，并引入知识推理（KI）组件以促进信息性词语的生成，从而在经过筛选的对话数据集上，生成的响应比基线模型更具相关性和多样性。

ABSTRACT

Most of the existing works for dialogue generation are data-driven models trained directly on corpora crawled from websites. They mainly focus on improving the model architecture to produce better responses but pay little attention to considering the quality of the training data contrastively. In this paper, we propose a multi-level contrastive learning paradigm to model the fine-grained quality of the responses with respect to the query. A Rank-aware Calibration (RC) network is designed to construct the multi-level contrastive optimization objectives. Since these objectives are calculated based on the sentence level, which may erroneously encourage/suppress the generation of uninformative/informative words. To tackle this incidental issue, on one hand, we design an exquisite token-level strategy for estimating the instance loss more accurately. On the other hand, we build a Knowledge Inference (KI) component to capture the keyword knowledge from the reference during training and exploit such information to encourage the generation of informative words. We evaluate the proposed model on a carefully annotated dialogue dataset and the results suggest that our model can generate more relevant and diverse responses compared to the baseline models.

研究动机与目标

• 解决现有对话模型对所有训练样本一视同仁的局限性，忽略响应质量的细粒度差异。
• 克服响应质量评分中统一标记权重的问题，避免抑制信息性词语或鼓励生成通用响应。
• 通过在训练过程中显式建模标准参考响应中的信息性关键词，提升响应的相关性与多样性。
• 设计一种整合实例级别与标记级别质量监督的对比学习范式，以指导序列生成。

提出的方法

• 设计一种排名感知校准（RC）网络，结合点回归与成对排序，用于估计查询-响应对的多尺度响应质量分数。
• 采用蒙特卡洛滚动（Monte-Carlo Rollout）实现标记级别的质量估计策略，通过条件采样响应并基于各标记对质量的贡献度分配可变重要性分数。
• 引入知识推理（KI）组件，通过将信息性关键词与查询和解码器隐藏状态关联，捕捉并保留来自标准参考响应的信息性关键词。
• 在每个解码步骤中引入汇总的知识记忆，以鼓励生成显著且上下文相关的词语。
• 在对比学习框架中整合RC与KI组件，联合优化响应的相关性与信息性。
• 采用多层级对比目标，整合响应级别与标记级别的质量监督，以优化模型训练。

实验结果

研究问题

• RQ1 在标记级别建模细粒度响应质量是否能提升对话系统中生成响应的相关性与多样性？
• RQ2 通过蒙特卡洛滚动实现的标记级别质量校准，与标准的实例级别加权相比，在防止信息性词语被抑制方面表现如何？
• RQ3 显式学习并注入参考响应中的关键词知识，在多大程度上能提升生成响应的信息性？
• RQ4 多层级对比学习的整合是否能持续优于标准序列到序列模型及现有质量感知基线模型？

主要发现

• 所提出的模型在同时包含RC与KI组件时，在所有评估指标上均达到最佳性能，优于标准S2S模型及基线质量感知模型。
• 移除RC组件后，相关性得分显著下降——平均下降6%，Extrema上下降6%，Greedy上下降7%，证明了标记级别校准的重要性。
• KI组件有效促进了生成有意义的关键词，如“Fantasy Westward Journey”和“Baidu”，这些词虽存在于标准参考响应中，但常被基线模型忽略。
• 可视化结果证实，RC网络为语义相关且信息丰富的标记（如讨论家乡时的“Sichuan”，天气相关查询中的“cloudy”）分配了更高的质量分数，验证了其捕捉上下文依赖重要性的能力。
• 由于细粒度质量监督的引入，模型减少了生成“oh, yes”或“I also want to know”等通用响应的倾向，有效抑制了低质量、重复性输出。
• 消融实验表明，RC与KI组件均不可或缺：任一组件的移除均导致性能下降，其中移除RC对相关性的影响更为显著。