[论文解读] LED: Lexicon-Enlightened Dense Retriever for Large-Scale Retrieval

Kai Zhang, Chongyang Tao+5 more|arXiv (Cornell University)|Aug 29, 2022

Topic Modeling被引用 6

一句话总结

本文提出LED，一种受词典启发的密集检索器，通过两种新颖的蒸馏策略——词典增强对比学习与成对排名一致性正则化——从词典感知模型中蒸馏知识，从而增强密集检索。该方法显著提升了密集检索器的性能，在三个基准测试中持续优于其教师模型，更好地捕捉了关键短语和实体提及。

ABSTRACT

Retrieval models based on dense representations in semantic space have become an indispensable branch for first-stage retrieval. These retrievers benefit from surging advances in representation learning towards compressive global sequence-level embeddings. However, they are prone to overlook local salient phrases and entity mentions in texts, which usually play pivot roles in first-stage retrieval. To mitigate this weakness, we propose to make a dense retriever align a well-performing lexicon-aware representation model. The alignment is achieved by weakened knowledge distillations to enlighten the retriever via two aspects -- 1) a lexicon-augmented contrastive objective to challenge the dense encoder and 2) a pair-wise rank-consistent regularization to make dense model's behavior incline to the other. We evaluate our model on three public benchmarks, which shows that with a comparable lexicon-aware retriever as the teacher, our proposed dense one can bring consistent and significant improvements, and even outdo its teacher. In addition, we found our improvement on the dense retriever is complementary to the standard ranker distillation, which can further lift state-of-the-art performance.

研究动机与目标

• 解决密集检索器因采用抽象化、压缩的语义表示而忽略局部关键短语与实体提及的局限性。
• 通过从高性能词典感知表示模型中迁移词汇知识，提升密集检索性能。
• 开发一种知识蒸馏框架，在不损害其序列级语义能力的前提下增强密集编码器。
• 确保与现有蒸馏方法（如交叉编码器蒸馏）兼容，以实现进一步性能提升。
• 证明通过词汇信号的有效弱监督，密集检索器可超越其词典感知教师模型。

提出的方法

• 引入一种词典增强的对比学习目标，利用词典感知检索器生成的难负样本，挑战并优化密集编码器的表征学习。
• 提出一种成对排名一致性正则化方法，利用弱监督将密集模型的排序行为与词典感知教师模型对齐，以保留关键词汇模式。
• 采用弱化形式的知识蒸馏——避免严格分布匹配或完整微调——在保持密集模型内在特性的前提下注入词汇感知能力。
• 利用预训练的、以词典为中心的表示模型（通过掩码语言建模训练）作为教师模型，提供高质量的词汇信号。
• 将所提出的蒸馏策略与标准交叉编码器蒸馏相结合，实现进一步性能提升。
• 端到端训练密集检索器，采用混合目标函数：结合词典增强负样本的对比损失与排名一致性正则化损失。

Figure 1. The training framework of our LED retriever. The Lexical teacher is independently trained following a two-stage process. After warming up, LED is trained with negatives mined by self and two lexicon-aware retrievers for lexicon-augmented contrastive learning, during which the Lexical Model

实验结果

研究问题

• RQ1 能否在不牺牲语义表征能力的前提下，有效增强密集检索器的词典感知能力？
• RQ2 从词典感知模型蒸馏知识是否能提升密集检索性能，特别是在捕捉关键短语与实体提及方面？
• RQ3 所提出的蒸馏策略是否能超越教师模型，即使该教师模型本身是性能强劲的词典感知检索器？
• RQ4 所提出的蒸馏技术与现有蒸馏流水线（如交叉编码器蒸馏）的兼容性如何？
• RQ5 蒸馏信号在长尾或挑战性查询上的检索准确率提升程度如何？

主要发现

• LED在三个基准测试（MS MARCO、TREC-Antique、TREC-NFCorpus）中持续提升检索性能，展现出强大的泛化能力。
• 在MS MARCO开发集上，LED将黄金段落的平均排名从14.7（denote）降低至13.8，显著改善了前100名检索效果。
• 在所有三个基准测试中，LED在中位数倒数排名（MRR）与归一化折扣累积收益（nDCG）上均优于其教师模型（LEX）。
• 在案例研究中，对于包含关键短语如"benefits of internet"和"pencil tool"的查询，LED成功将正确段落排在首位，而密集基线模型（DEN）因语义不匹配而失败。
• 当与交叉编码器蒸馏结合使用时（LED w/ RT），性能进一步提升，在MS MARCO上达到新的最先进水平。
• 消融实验确认，两种蒸馏组件——对比学习与排名一致性——均对性能提升有显著贡献，其中对比目标在捕捉词汇线索方面尤为有效。