[论文解读] Curriculum Learning Strategies for IR: An Empirical Study on Conversation Response Ranking

Gustavo Penha, Claudia Hauff|arXiv (Cornell University)|Dec 18, 2019

Neural Networks and Applications被引用 6

一句话总结

本文研究了对话回复排序中神经排序模型的课程学习（CL），提出基于 BERT 预测结果和相关性标签计算出的难度分数对训练数据进行重排。研究发现，与随机训练相比，课程学习可将检索效果提升最多 2%，尤其当使用全部信息（对话历史、回复和标签）来评估难度并早期引入较难样本时效果更显著。

ABSTRACT

Neural ranking models are traditionally trained on a series of random batches, sampled uniformly from the entire training set. Curriculum learning has recently been shown to improve neural models' effectiveness by sampling batches non-uniformly, going from easy to difficult instances during training. In the context of neural Information Retrieval (IR) curriculum learning has not been explored yet, and so it remains unclear (1) how to measure the difficulty of training instances and (2) how to transition from easy to difficult instances during training. To address both challenges and determine whether curriculum learning is beneficial for neural ranking models, we need large-scale datasets and a retrieval task that allows us to conduct a wide range of experiments. For this purpose, we resort to the task of conversation response ranking: ranking responses given the conversation history. In order to deal with challenge (1), we explore scoring functions to measure the difficulty of conversations based on different input spaces. To address challenge (2) we evaluate different pacing functions, which determine the velocity in which we go from easy to difficult instances. We find that, overall, by just intelligently sorting the training data (i.e., by performing curriculum learning) we can improve the retrieval effectiveness by up to 2%.

研究动机与目标

• 探究课程学习（CL）是否能提升信息检索（IR）中神经排序模型的性能，特别是在对话回复排序任务中的表现。
• 通过在不同输入空间中评估多种评分函数，解决 IR 中实例难度定义的挑战。
• 确定从简单到复杂训练样本过渡的最优引入节奏函数。
• 评估课程学习带来的性能提升是否在不同对话领域、长度和难度级别下保持一致。

提出的方法

• 提出一种课程学习策略，根据 BERT 模型对查询-文档对预测结果计算出的难度分数，对训练实例进行重排。
• 评估四种难度评分函数：仅基于对话历史、仅基于回复、基于对话历史与回复联合、以及使用所有可用信息（包括相关性标签 U, R, Y）。
• 采用线性、root_2 和指数等引入节奏函数，控制训练过程中较难样本的引入速率。
• 使用在两个对话回复排序数据集（MSDialog 和 MANtIS）上微调的 BERT 模型作为评分和检索的基线模型。
• 使用标准 IR 指标（如 MAP 和 MRR）将 CL 策略与原始随机采样基线进行对比。
• 通过在对话长度、领域和难度分桶上的统计显著性检验与误差分析，验证方法的鲁棒性。

实验结果

研究问题

• RQ1 课程学习能否提升对话回复排序中神经排序模型的性能？若能，提升幅度如何？
• RQ2 在 U、R、Y 或其组合的输入空间中，哪种输入空间能生成最有效的课程学习难度评分函数？
• RQ3 在训练过程中，以何种节奏函数引入更复杂的样本，能最大化模型性能？
• RQ4 课程学习带来的性能增益是否在不同对话领域、长度和难度级别下保持一致？

主要发现

• 与原始随机训练基线相比，课程学习在 MSDialog 和 MANtIS 两个数据集上均实现最高 2% 的检索效果提升，且具有统计显著性。
• 使用相关性标签（Y）和所有可用信息（U, R, Y）的评分函数优于仅基于对话历史或回复的函数，其中 BERT_{pred} 和 BERT_{loss} 表现最佳。
• 通过 root_2 等节奏函数在训练早期引入更难样本，相比更慢或更快的过渡方式，能获得更优的模型性能。
• 课程学习带来的性能增益在不同对话领域、长度和难度分桶中均有体现，表明其具有广泛适用性。
• 不使用相关性标签的评分函数无法超越随机基线，凸显了标签信息在难度估计中的关键作用。
• 结果表明，课程学习可带来与新型神经架构相当的性能增益，且无需修改模型架构。