[论文解读] Aggretriever: A Simple Approach to Aggregate Textual Representations for Robust Dense Passage Retrieval

Sheng-Chieh Lin, Minghan Li+1 more|arXiv (Cornell University)|Jul 31, 2022

Topic Modeling被引用 4

一句话总结

Aggretriever 提出了一种简单但有效的方法，通过将 BERT 的掩码语言建模（MLM）头生成的上下文嵌入向量聚合为一个紧凑向量 $\mathbf{agg}^{*}$，从而提升密集段落检索性能，该向量与 [CLS] 向量拼接。该方法在无需额外预训练或昂贵微调的情况下，显著提升了域内和零样本基准上的检索性能。

ABSTRACT

Pre-trained language models have been successful in many knowledge-intensive NLP tasks. However, recent work has shown that models such as BERT are not ``structurally ready'' to aggregate textual information into a [CLS] vector for dense passage retrieval (DPR). This ``lack of readiness'' results from the gap between language model pre-training and DPR fine-tuning. Previous solutions call for computationally expensive techniques such as hard negative mining, cross-encoder distillation, and further pre-training to learn a robust DPR model. In this work, we instead propose to fully exploit knowledge in a pre-trained language model for DPR by aggregating the contextualized token embeddings into a dense vector, which we call agg*. By concatenating vectors from the [CLS] token and agg*, our Aggretriever model substantially improves the effectiveness of dense retrieval models on both in-domain and zero-shot evaluations without introducing substantial training overhead. Code is available at https://github.com/castorini/dhr

研究动机与目标

• 解决基于 BERT 的密集检索器在域外和零样本设置下表现不佳的问题，其根源在于对上下文表示聚合能力不足。
• 克服 BERT 的 [CLS] 向量存在的‘结构不就绪’问题，即其无法有效捕捉预训练过程中获得的细粒度文本信息。
• 开发一种计算轻量级的方法，充分利用 BERT 中预训练的知识进行密集检索，而无需进一步预训练或复杂微调。
• 通过将语义信号（通过 [CLS]）与词汇信号（通过 MLM 投影）融合为单一密集向量表示，提升检索效果。

提出的方法

• 复用 BERT 的预训练 MLM 头，将每个上下文嵌入向量投影到高维子词词汇空间。
• 对投影后的向量应用最大池化与剪枝操作，以获得紧凑且高影响力的词汇表示，记为 $\mathbf{agg}^{\star}$。
• 将 $\mathbf{agg}^{\star}$ 与 [CLS] 向量拼接，形成最终的段落表示，实现语义与词汇信息的联合建模。
• 使用标准双编码器训练策略与标准负样本采样方式对最终的 Aggretriever 模型进行微调，避免使用困难负样本挖掘或蒸馏技术。
• 利用现有的近似最近邻（ANN）库，基于最终的密集向量表示实现高效的近似最近邻搜索。
• 通过保持单一密集向量输出，确保与现有检索流水线的兼容性，避免像混合模型那样需要双路表示。

实验结果

研究问题

• RQ1 我们能否在不进行额外预训练的前提下，通过充分挖掘 BERT 的预训练 MLM 头来提升密集段落检索性能？
• RQ2 将上下文嵌入向量聚合为紧凑向量 $\mathbf{agg}^{\star}$ 是否能带来优于仅依赖 [CLS] 向量的检索性能？
• RQ3 所提出的聚合方法是否能在不引入计算开销的前提下，提升零样本与域外检索的有效性？
• RQ4 Aggretriever 方法是否与现有检索系统兼容，并适用于基于 ANN 的检索？

主要发现

• Aggretriever 在域内和零样本检索基准上均显著优于仅使用 [CLS] 向量的标准模型，在多个数据集上均表现出一致的性能提升。
• 即使在使用知识蒸馏或困难负样本挖掘的强基线模型（如 BERT$_{\text{CLS}}$ 和 TAS-B）对比下，Aggretriever 仍表现更优。
• 在 [CLS] 向量中加入 $\mathbf{agg}^{\star}$ 可显著提升检索效果，且无需依赖如困难负样本挖掘或交叉编码器蒸馏等昂贵训练技术。
• Aggretriever 在零样本设置下保持了强劲性能，相较于标准 DPR 模型，展现出更强的分布偏移鲁棒性。
• 该方法与进一步预训练策略正交，将 Aggretriever 与 coCondenser 等模型结合可进一步提升性能。
• 基于 MLM 的聚合提供了稳定的词汇信号，即使在稀疏检索中也能增强匹配效果，表明其在语义与词汇匹配方面均具有双重优势。