[论文解读] Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval

Lee Xiong, Chenyan Xiong+6 more|arXiv (Cornell University)|Jul 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 61被引用 229

一句话总结

该论文提出 ANCE，一种用于密集文本检索的全局负采样方法，使用异步更新的 ANN 索引从整个语料库中选择困难负样本，从而提升训练收敛和检索准确性。ANCE 在网页检索、OpenQA 和生产检索方面取得了最前沿的结果，并带来显著的效率提升。

ABSTRACT

Conducting text retrieval in a dense learned representation space has many intriguing advantages over sparse retrieval. Yet the effectiveness of dense retrieval (DR) often requires combination with sparse retrieval. In this paper, we identify that the main bottleneck is in the training mechanisms, where the negative instances used in training are not representative of the irrelevant documents in testing. This paper presents Approximate nearest neighbor Negative Contrastive Estimation (ANCE), a training mechanism that constructs negatives from an Approximate Nearest Neighbor (ANN) index of the corpus, which is parallelly updated with the learning process to select more realistic negative training instances. This fundamentally resolves the discrepancy between the data distribution used in the training and testing of DR. In our experiments, ANCE boosts the BERT-Siamese DR model to outperform all competitive dense and sparse retrieval baselines. It nearly matches the accuracy of sparse-retrieval-and-BERT-reranking using dot-product in the ANCE-learned representation space and provides almost 100x speed-up.

研究动机与目标

• 识别在以批内负样本为主的密集文本检索学习中的瓶颈。
• 提出一种负采样策略，利用来自整个语料库的全局负样本来改善学习收敛。
• 理论分析负采样下的梯度范数与收敛性。
• 在网页检索、OpenQA 与生产检索设置中实证验证 ANCE。
• 展示使用 ANCE 的密集检索相对于传统方法的效率提升。

提出的方法

• 作者分析密集检索训练的收敛性，指出局部批内负样本会导致梯度范数递减且梯度方差较高。
• 他们提出近似最近邻负对比估计（ANCE），使用异步更新的 ANN 索引从语料库全局采样困难负样本。
• ANCE 维护一个 Inferencer 定期对语料库检查点进行重新编码并刷新 ANN 索引，以提供更新的训练负样本。
• 一个训练样本的负样本来自当前模型下的前K个检索文档（排除正例），近似一个 oracle 重要性采样分布。
• 一种异步索引刷新策略在训练效率与使用最新负样本之间取得平衡，通常每固定数量的批次刷新一次。
• 实现使用 BERT-Siamese/双编码器，采用点积相似度和负对数似然损失，以 BM25 预热初始化和对长文档的标准 pooling 进行训练。

实验结果

研究问题

• RQ1 来自整个语料库的全局负采样是否能够优于批内负样本，提升密集检索的学习？
• RQ2 ANN 索引的异步更新如何影响训练效率与收敛性？
• RQ3 ANCE 对网页检索、OpenQA 与生产检索系统的检索准确性有何影响？
• RQ4 与本地负样本相比，ANCE 的负样本如何影响梯度范数与训练动态？

主要发现

• ANCE 相对于使用随机或批内负样本的基线，显著提升密集检索性能。
• ANCE 使用点积相似度检索，其准确性几乎与基于 BERT 的级联 IR 流水线相当，同时效率更高。
• 在网页检索、OpenQA 和商业搜索引擎中的实验显示，ANCE 带来持续的增益，包括对基于阅读器的问题回答阶段的有利传播。
• 理论与实证分析表明，ANCE 的负样本产生更大的梯度范数并降低梯度方差，相比本地负样本加速收敛。
• 一种异步索引刷新策略在保持最新负样本的同时保持训练高效，并给出实际的 GPU 资源建议。
• 在某些设置的在线时延测量中，通过 ANCE 的硬件高效密集检索比 BERT 重新排序快约 100 倍。