[论文解读] Complementing Lexical Retrieval with Semantic Residual Embedding

Luyu Gao, Zhuyun Dai+4 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 45被引用 59

一句话总结

CLEAR 将 BM25 风格的词汇检索与通过残差学习方案来补充词汇信号的神经嵌入模型结合起来，从而改善第一阶段检索和后续重新排序的效率。

ABSTRACT

This paper presents CLEAR, a retrieval model that seeks to complement classical lexical exact-match models such as BM25 with semantic matching signals from a neural embedding matching model. CLEAR explicitly trains the neural embedding to encode language structures and semantics that lexical retrieval fails to capture with a novel residual-based embedding learning method. Empirical evaluations demonstrate the advantages of CLEAR over state-of-the-art retrieval models, and that it can substantially improve the end-to-end accuracy and efficiency of reranking pipelines.

研究动机与目标

• 通过将精确的词汇匹配与语义嵌入信号相结合，推动改进第一阶段检索。
• 开发基于残差的嵌入模型训练方法，以补充词汇检索并修正词汇错误。
• 证明 CLEAR 在大规模数据集上优于传统词汇基线和仅嵌入的模型。
• 展示 CLEAR 对下游的 BERT 重新排序器具有附加收益，并降低端到端检索成本。

提出的方法

• 实现一个双分支检索系统：一个 BM25 风格的词汇检索器和一个基于 Transformer 的嵌入检索器（Siamese BERT，采用平均池化嵌入）。
• 使用残差损失来训练嵌入，使其增强词汇信号而不是替代它们，采用带误差采样的三元组铰链损失。
• 引入一个依赖于词汇分数的残差边际 m_r，以将嵌入学习聚焦于词汇弱点。
• 使用词汇和嵌入候选列表的并集，以及一个插值后的最终分数 s_CLEAR = lambda_test * s_lex + s_emb。
• 利用快速 MIPS 索引进行嵌入检索以及倒排索引进行词汇检索，以实现可扩展的单阶段检索。

实验结果

研究问题

• RQ1 基于残差的嵌入训练目标是否能够提升词汇检索模型与神经检索模型之间的互补性？
• RQ2 在 CLEAR 中结合词汇检索与嵌入检索是否比单独的词汇模型或嵌入模型取得更高的第一阶段检索指标？
• RQ3 将 CLEAR 与 BERT 重新排序器搭配时，对端到端性能有何影响？
• RQ4 在第一阶段检索中使用语义残差嵌入时，存在哪些定性权衡（错误正例、重新排序器行为）？

主要发现

• CLEAR 在 MS MARCO 上实现了最先进的第一阶段检索效果，胜过词汇基线和仅嵌入的模型。
• 使用残差边距和基于错误的负采样训练的嵌入模型比事后融合方法更好地补充词汇信号。
• 在含 BERT 重新排序器的流水线中，CLEAR 减少了所需的重新排序深度，并提升端到端的准确性和效率。
• BERT 重新排序器仍可能难以处理由 CLEAR 引入的语义相关的错误正例，凸显神经重新排序器的新挑战。