[论文解读] Learning a Matching Model with Co-teaching for Multi-turn Response Selection in Retrieval-based Dialogue Systems

Jiazhan Feng, Chongyang Tao+4 more|arXiv (Cornell University)|Jun 11, 2019

Topic Modeling参考文献 37被引用 7

一句话总结

该论文提出了一种协同教学框架，通过联合训练两个匹配模型来提升检索式对话系统中的响应选择性能，其中每个模型同时充当教师和学生，以纠正噪声训练数据。该方法在两个公开基准数据集上显著提升了性能，相较于SOTA模型（如DAM和SMN），P@1指标最高提升了3.2个百分点。

ABSTRACT

We study learning of a matching model for response selection in retrieval-based dialogue systems. The problem is equally important with designing the architecture of a model, but is less explored in existing literature. To learn a robust matching model from noisy training data, we propose a general co-teaching framework with three specific teaching strategies that cover both teaching with loss functions and teaching with data curriculum. Under the framework, we simultaneously learn two matching models with independent training sets. In each iteration, one model transfers the knowledge learned from its training set to the other model, and at the same time receives the guide from the other model on how to overcome noise in training. Through being both a teacher and a student, the two models learn from each other and get improved together. Evaluation results on two public data sets indicate that the proposed learning approach can generally and significantly improve the performance of existing matching models.

研究动机与目标

• 解决检索式对话系统中噪声负样本的问题，其中随机采样的响应通常包含假负样本。
• 在不改变现有匹配模型架构的前提下提升其泛化能力，聚焦于学习机制而非架构创新。
• 构建一个稳健的学习框架，缓解由噪声标签引起的训练与测试性能差距。
• 在多种数据集和模型架构（如SMN和DAM）上验证所提方法的有效性。
• 探究同伴模型动态行为与教学策略在噪声标签设定下的学习性能影响。

提出的方法

• 在两个独立的i.i.d.训练集上分别训练两个相同或不同的匹配模型，以避免数据泄露。
• 实施协同教学循环，其中每个模型使用同伴模型的软预测结果作为伪标签来指导训练并过滤噪声样本。
• 应用三种教学策略：(1) 动态边界教学，(2) 通过损失函数实现动态样本加权，(3) 通过样本选择实现动态数据课程。
• 在动态边界教学中，模型利用置信度阈值过滤低置信度预测，并重新加权损失函数。
• 在动态样本加权中，模型为同伴模型预测置信度高的样本分配更高权重。
• 在动态数据课程中，模型根据同伴模型的表现选择并优先处理训练样本，逐步增加难度。

实验结果

研究问题

• RQ1 协同教学框架能否有效减少因噪声标签导致的训练与测试性能差距？
• RQ2 不同的教学策略（动态边界、样本加权、数据课程）如何影响模型性能与鲁棒性？
• RQ3 协同教学是否能在不同匹配模型（如SMN和DAM）和数据集（如Douban和E-commerce）上泛化？
• RQ4 协同教学过程在训练过程中如何演化？同伴模型质量在学习中起到什么作用？
• RQ5 在多轮响应选择任务中，协同教学能否优于现有的弱监督学习或课程学习方法？

主要发现

• 在Douban数据集上，采用动态边界的协同教学使SMN的P@1指标绝对提升2.8%，DAM的P@1指标绝对提升2.5%。
• 在E-commerce数据集上，采用动态数据课程的协同教学使SMN的P@1指标绝对提升2.4%，DAM的P@1指标绝对提升3.2%。
• 该协同教学框架在两个数据集上均一致提升了所有评估指标的性能，包括MAP、MRR和P@1。
• 该方法优于弱监督学习方法，尤其在Douban数据集上表现更优，且在相同正负样本比例下取得的增益高于先前工作。
• 同伴模型同步演化：高质量模型引导低质量模型，双方通过相互纠错共同提升。
• 该框架在不同架构上均表现出良好泛化能力，表明协同教学的有效性不依赖于基础模型的选择。