[论文解读] Optimizing Dense Retrieval Model Training with Hard Negatives

Jingtao Zhan, Jiaxin Mao+4 more|arXiv (Cornell University)|Apr 16, 2021

Topic Modeling参考文献 31被引用 11

一句话总结

本文提出了两种新颖的训练策略——STAR 和 ADORE，通过解决静态难负样本采样方法的局限性，以优化密集检索模型。STAR 通过结合随机负样本和难负样本，提升了训练的稳定性；ADORE 在训练过程中动态选择难负样本，直接优化排序性能，在基准数据集上实现了显著的效率提升，达到最先进性能。

ABSTRACT

Ranking has always been one of the top concerns in information retrieval researches. For decades, the lexical matching signal has dominated the ad-hoc retrieval process, but solely using this signal in retrieval may cause the vocabulary mismatch problem. In recent years, with the development of representation learning techniques, many researchers turn to Dense Retrieval (DR) models for better ranking performance. Although several existing DR models have already obtained promising results, their performance improvement heavily relies on the sampling of training examples. Many effective sampling strategies are not efficient enough for practical usage, and for most of them, there still lacks theoretical analysis in how and why performance improvement happens. To shed light on these research questions, we theoretically investigate different training strategies for DR models and try to explain why hard negative sampling performs better than random sampling. Through the analysis, we also find that there are many potential risks in static hard negative sampling, which is employed by many existing training methods. Therefore, we propose two training strategies named a Stable Training Algorithm for dense Retrieval (STAR) and a query-side training Algorithm for Directly Optimizing Ranking pErformance (ADORE), respectively. STAR improves the stability of DR training process by introducing random negatives. ADORE replaces the widely-adopted static hard negative sampling method with a dynamic one to directly optimize the ranking performance. Experimental results on two publicly available retrieval benchmark datasets show that either strategy gains significant improvements over existing competitive baselines and a combination of them leads to the best performance.

研究动机与目标

• 对密集检索训练中不同的负样本采样策略进行理论分析与比较。
• 识别广泛使用但不稳定且优化不足的静态难负样本采样的风险与局限性。
• 开发一种稳定的训练方法（STAR），通过结合随机负样本与难负样本来提升训练鲁棒性。
• 提出一种动态难负样本采样方法（ADORE），在训练过程中直接优化排序性能。
• 与现有最先进方法相比，实现更高的有效性与更高的训练效率。

提出的方法

• STAR 引入一种混合损失函数，结合随机负样本与难负样本，以稳定训练过程，并减少在困难查询上的性能崩溃。
• ADORE 用动态生成的难负样本来替代静态难负样本，这些负样本基于当前模型参数在每个训练步骤重新计算。
• 该方法使用可微分的排序目标，直接优化 top-k 检索性能，使训练与最终评估指标对齐。
• ADORE 利用压缩乘积量化（PQ）索引，降低 GPU 显存使用，实现在单张 11GB GPU 上的训练。
• 理论分析表明，随机负样本采样最小化总成对误差，而难负样本采样最小化 top-K 误差，解释了其在排序任务中的优越性。
• 实验使用两个公开基准数据集：MS MARCO passage 和 TREC Natural Questions，采用标准评估指标，包括 MRR@10 和 NDCG@10。

实验结果

研究问题

• RQ1 为何在密集检索训练中，难负样本采样优于随机负样本采样？
• RQ2 静态难负样本采样在 DR 训练中的理论与实际局限性是什么？
• RQ3 动态难负样本采样是否能带来优于静态方法的排序性能？
• RQ4 如何在不牺牲模型有效性的前提下，提升训练稳定性和效率？
• RQ5 压缩索引是否能实现在硬件资源有限条件下的密集检索模型高效训练？

主要发现

• ADORE 在训练时间上相比 ANCE 实现了 179 倍的加速，将单张 GPU 上的训练时间从 645 小时缩短至 4 小时。
• STAR 提升了训练稳定性，在困难查询上的性能崩溃现象相比静态难负样本基线方法显著减少。
• ADORE 与 STAR 的结合实现了最佳性能，在 MS MARCO passage 数据集上 MRR@10 达到 0.329。
• 当 PQ=96 时，ADORE 将 GPU 显存使用降低至原始值的 3%，仅损失 0.003 的 MRR@10，从而实现单 GPU 训练。
• 当 PQ=6 时，ADORE 退化为近似随机负样本采样，MRR@10 降至 0.304，证实了索引质量的重要性。
• 理论分析确认，难负样本采样最小化 top-K 误差，与排序目标的对齐性优于随机采样。