[论文解读] Condenser: a Pre-training Architecture for Dense Retrieval

Luyu Gao, Jamie Callan|arXiv (Cornell University)|Apr 16, 2021

Topic Modeling参考文献 39被引用 8

一句话总结

该论文提出 Condenser，一种新颖的预训练架构，通过显式地将语言建模目标与单一密集表示条件化，从而提升 Transformer 语言模型在密集检索任务中的结构准备度，使模型更适用于双编码器微调。Condenser 在多个检索与相似度任务上达到最先进性能，尤其在低数据设置下表现优异，优于标准 BERT 并匹配任务特定模型，且无需复杂训练技术。

ABSTRACT

Pre-trained Transformer language models (LM) have become go-to text representation encoders. Prior research fine-tunes deep LMs to encode text sequences such as sentences and passages into single dense vector representations for efficient text comparison and retrieval. However, dense encoders require a lot of data and sophisticated techniques to effectively train and suffer in low data situations. This paper finds a key reason is that standard LMs' internal attention structure is not ready-to-use for dense encoders, which needs to aggregate text information into the dense representation. We propose to pre-train towards dense encoder with a novel Transformer architecture, Condenser, where LM prediction CONditions on DENSE Representation. Our experiments show Condenser improves over standard LM by large margins on various text retrieval and similarity tasks.

研究动机与目标

• 为解决从标准预训练语言模型训练有效双编码器所面临的挑战，这些模型在密集表示聚合方面结构准备度较差。
• 探究是否可通过设计预训练方式，使模型天然支持双编码器微调，从而减少对复杂下游训练策略的依赖。
• 在标准微调模型常失效或表现不佳的低数据场景下，提升性能表现。
• 分析预训练模型的注意力机制，证明结构准备度显著影响训练效率与最终性能。
• 为密集检索任务提供一种通用、轻量级的替代方案，以替代任务特定的预训练方法。

提出的方法

• 提出一种新型预训练目标，其中语言建模依赖于单一密集表示，明确训练模型将信息压缩为紧凑向量。
• 修改标准 Transformer 编码器架构，引入一个专门用于聚合输入序列信息的密集表示标记。
• 使用掩码语言建模目标进行训练，其中每个标记的预测同时依赖于输入序列和密集表示，从而促使模型学习有效压缩信息。
• 在预训练与微调阶段使用相同架构，实现对下游双编码器任务（如句子相似度与密集检索）的直接迁移。
• 在微调过程中集成难负样本挖掘，证明 Condenser 对噪声挖掘的负样本具有鲁棒性，而标准 BERT 则不具备此特性。
• 通过消融研究与注意力分析，比较 Condenser、标准 BERT 与任务特定预训练模型（如 ICT）的内部注意力模式。

实验结果

研究问题

• RQ1 标准预训练 BERT 是否具有内在的注意力结构，使其天然不适合双编码器设置下的密集表示学习？
• RQ2 是否可通过重构预训练方式，提升模型对双编码器微调的结构准备度，从而减少对复杂下游训练技术的依赖？
• RQ3 在低数据与高数据设置下，Condenser 与标准 BERT 及任务特定预训练模型相比表现如何？
• RQ4 Condenser 的注意力机制与标准 BERT 及 ICT 的差异程度如何？该差异是否可解释其提升的训练效率？
• RQ5 Condenser 是否能有效结合难负样本挖掘？其在噪声挖掘负样本下是否仍保持鲁棒性？

主要发现

• Condenser 在句子相似度、问答检索与网页搜索检索任务上显著优于标准 BERT，尤其在低数据条件下表现突出。
• 在低数据设置下，Condenser 表现与任务特定预训练模型（如通过逆 Cloze 任务微调的模型）相当或更优，证明其作为通用初始化器的有效性。
• 在充足训练数据下，Condenser 检索器更易优化，且性能超越以往依赖复杂技术（如多轮难负样本挖掘）的模型。
• Condenser 对噪声难负样本具有鲁棒性，在使用挖掘负样本训练时表现出一致的性能提升，而 BERT 基模型在相同条件下性能显著下降。
• 注意力分析显示，Condenser 在各层间保持稳定且广泛的注意力模式，表明其具备结构准备度；而标准 BERT 在微调过程中内部注意力模式发生剧烈变化，证实其缺乏结构准备度。
• 结果表明，任务特定的预训练目标（如 ICT）并非实现结构准备度的必要条件，因为 Condenser 通过聚焦于密集表示条件化的通用预训练目标，即可实现类似优势。