[论文解读] From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective

Thibault Formal, Carlos Lassance+2 more|arXiv (Cornell University)|May 10, 2022

Topic Modeling被引用 15

一句话总结

该论文通过应用蒸馏、难负例挖掘以及改进的预训练语言模型初始化方法，对稀疏神经信息检索模型SPLADE进行了增强，在领域内（MS MARCO）和零样本（BEIR）基准上均取得了最先进性能。所提出的SPLADE++框架表明，密集模型的训练改进可迁移至稀疏模型，通过结合多种技术实现累加性增益，并借助表达能力强的架构实现强大泛化能力。

ABSTRACT

Neural retrievers based on dense representations combined with Approximate Nearest Neighbors search have recently received a lot of attention, owing their success to distillation and/or better sampling of examples for training -- while still relying on the same backbone architecture. In the meantime, sparse representation learning fueled by traditional inverted indexing techniques has seen a growing interest, inheriting from desirable IR priors such as explicit lexical matching. While some architectural variants have been proposed, a lesser effort has been put in the training of such models. In this work, we build on SPLADE -- a sparse expansion-based retriever -- and show to which extent it is able to benefit from the same training improvements as dense models, by studying the effect of distillation, hard-negative mining as well as the Pre-trained Language Model initialization. We furthermore study the link between effectiveness and efficiency, on in-domain and zero-shot settings, leading to state-of-the-art results in both scenarios for sufficiently expressive models.

研究动机与目标

• 探究密集神经IR模型中的训练改进（如蒸馏和难负例挖掘）是否能提升稀疏神经检索器的性能。
• 评估预训练语言模型初始化对稀疏模型有效性与泛化能力的影响。
• 分析稀疏检索中模型有效性与推理效率（FLOPS）之间的权衡。
• 确定结合多种训练技术是否能在稀疏神经IR中带来累加性性能增益。
• 评估增强后的稀疏模型在零样本设置下的泛化能力，使用BEIR基准进行评估。

提出的方法

• 将SPLADE模型适配以引入知识蒸馏，使用教师模型进行训练，蒸馏损失基于logit匹配（DistilMSE）或软标签蒸馏（SelfDistil）。
• 通过从先前模型的检索结果中采样负例，引入难负例挖掘，采用基于集成和自蒸馏的策略。
• 使用多个预训练语言模型检查点（如BERT-base、CoCondenser）评估初始化对性能和泛化能力的影响。
• 在训练过程中应用稀疏正则化，以在保持高维稀疏性的同时支持词项重新加权与扩展。
• 将表现最佳的配置（如CoCondenser-EnsembleDistil）组合，形成最终的SPLADE++模型，实现累加性改进。
• 在领域内（MS MARCO）和零样本（BEIR）设置下，使用标准IR指标（MRR@10、nDCG@10、R@1k）评估模型性能。

实验结果

研究问题

• RQ1 知识蒸馏是否能显著提升SPLADE等稀疏神经IR模型的性能？
• RQ2 难负例挖掘是否能增强稀疏神经检索器的泛化能力与有效性？
• RQ3 预训练语言模型初始化的选择如何影响稀疏模型的性能与零样本泛化能力？
• RQ4 蒸馏与难负例挖掘在稀疏神经IR中能带来多大程度的累加性改进？
• RQ5 稀疏检索中是否存在模型有效性与推理效率（FLOPS）之间的权衡？该权衡如何随模型容量变化？

主要发现

• SPLADE++的CoCondenser-EnsembleDistil变体在BEIR基准上实现了50.7的MRR@10，创下零样本评估的新SOTA记录。
• CoCondenser-SelfDistil变体在BEIR上实现了50.5的平均nDCG@10，优于所有先前的稀疏模型，展现出强大的泛化能力。
• 将蒸馏与基于集成的难负例挖掘结合，在MS MARCO上的MRR@10相比简单训练提升了1.6个百分点。
• 最佳模型（CoCondenser-EnsembleDistil）在与BM25通过早期元素级求和结合后，在BEIR上实现了52.1的平均nDCG@10，表明词法方法与神经方法之间具有互补性。
• FLOPS更高的模型（即容量更大的模型）展现出更强的泛化能力，最表达性强的配置在零样本任务中优于简单模型。
• SelfDistil策略（仅使用密集检索器进行挖掘）的零样本泛化能力优于EnsembleDistil，可能是因为对MS MARCO的过拟合更少。