[论文解读] Dialogue Response Selection with Hierarchical Curriculum Learning

Yixuan Su, Deng Cai+7 more|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling参考文献 35被引用 7

一句话总结

本文提出了一种对话回复选择的分层课程学习（HCL）框架，通过将训练数据组织为两种互补的课程，以逐步增加难度的方式训练模型：语料级（CC）课程用于提升识别正样本中匹配线索的难度，实例级（IC）课程用于增强对负样本中不匹配信号的检测能力。该方法在多个最先进模型和基准数据集上显著提升了性能。

ABSTRACT

We study the learning of a matching model for dialogue response selection. Motivated by the recent finding that models trained with random negative samples are not ideal in real-world scenarios, we propose a hierarchical curriculum learning framework that trains the matching model in an "easy-to-difficult" scheme. Our learning framework consists of two complementary curricula: (1) corpus-level curriculum (CC); and (2) instance-level curriculum (IC). In CC, the model gradually increases its ability in finding the matching clues between the dialogue context and a response candidate. As for IC, it progressively strengthens the model's ability in identifying the mismatching information between the dialogue context and a response candidate. Empirical studies on three benchmark datasets with three state-of-the-art matching models demonstrate that the proposed learning framework significantly improves the model performance across various evaluation metrics.

研究动机与目标

• 为解决对话回复选择中随机负样本采样方法在真实场景下难以处理强干扰项的局限性。
• 通过显式建模上下文-回复对之间相关性的不同程度，提升模型的泛化能力。
• 开发一种系统性地逐步增加正负样本学习难度的训练框架。
• 在多种匹配模型和基准数据集上评估所提出的课程学习方法的有效性。

提出的方法

• 该框架引入了语料级课程（CC），根据词汇和语义匹配信号的难易程度，按顺序调度正样本对的训练，从简单到复杂。
• 实例级课程（IC）根据负样本的干扰强度进行排序，并在训练过程中逐步引入更具挑战性的负样本。
• CC 使用一个 pacing 函数 pcc(t)，控制正样本对的难度，从简单开始逐步增加，初始难度 pcc(0) 经调优以获得最佳性能。
• IC 使用一个 pacing 函数 pic(t)，控制从日益相关的负样本子集中采样，kT 决定课程的长度。
• 该方法与模型无关，可与任意匹配模型集成，使用排序模型对上下文-回复对进行打分。
• 训练过程根据当前学习状态动态选择数据，确保逐步暴露于更难的样本。

实验结果

研究问题

• RQ1 当课程学习同时应用于正样本和负样本时，其对回复选择性能的提升效果如何？
• RQ2 在模型性能方面，语料级课程的最优初始难度是多少？
• RQ3 实例级课程的长度如何影响模型的泛化能力和鲁棒性？
• RQ4 所提出的 HCL 框架是否能持续提升多种最先进匹配模型的性能？
• RQ5 排名模型架构的选择是否影响 HCL 框架的有效性？

主要发现

• HCL 框架在三个基准数据集（Douban、Cornell 和 Ubuntu）上的所有评估指标中均显著提升了性能。
• 在 Douban 数据集上，HCL 框架使表现最佳的模型（SA-BERT）的 P@1 提升至 0.511，R10@2 提升至 0.535。
• 当 pcc(0) ≤ 0.3 时，语料级课程表现出稳定性能；而当 pcc(0) = 1.0 时性能显著下降，证实了逐步增加难度的必要性。
• 实例级课程在 kT 调优后表现最佳，可避免因过度拟合高度相关的错误负样本或未能充分利用具有挑战性的负样本。
• 排名模型的选择会影响性能，但即使使用强大的模型如 BERT，其性能也未超过 HCL 增强后的匹配模型，表明该框架具有强鲁棒性。
• HCL 框架在三种不同匹配模型（SMN、MSN 和 SA-BERT）上均一致提升了性能，证明了其良好的泛化能力。