[论文解读] Injecting Domain Adaptation with Learning-to-hash for Effective and Efficient Zero-shot Dense Retrieval

Nandan Thakur, Nils Reimers+1 more|arXiv (Cornell University)|May 23, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出将领域自适应技术注入监督式学习哈希（LTH）方法——BPR与JPQ，以提升在多样化领域中零样本密集检索的有效性。通过利用无监督领域自适应技术（如GenQ和GPL），该方法在BEIR基准上平均提升nDCG@10达11.5%和8.2%，同时保持32倍的内存效率和CPU检索延迟14倍/2倍的加速。

ABSTRACT

Dense retrieval overcome the lexical gap and has shown great success in ad-hoc information retrieval (IR). Despite their success, dense retrievers are expensive to serve across practical use cases. For use cases requiring to search from millions of documents, the dense index becomes bulky and requires high memory usage for storing the index. More recently, learning-to-hash (LTH) techniques, for e.g., BPR and JPQ, produce binary document vectors, thereby reducing the memory requirement to efficiently store the dense index. LTH techniques are supervised and finetune the retriever using a ranking loss. They outperform their counterparts, i.e., traditional out-of-the-box vector compression techniques such as PCA or PQ. A missing piece from prior work is that existing techniques have been evaluated only in-domain, i.e., on a single dataset such as MS MARCO. In our work, we evaluate LTH and vector compression techniques for improving the downstream zero-shot retrieval accuracy of the TAS-B dense retriever while maintaining efficiency at inference. Our results demonstrate that, unlike prior work, LTH strategies when applied naively can underperform the zero-shot TAS-B dense retriever on average by up to 14% nDCG@10 on the BEIR benchmark. To solve this limitation, in our work, we propose an easy yet effective solution of injecting domain adaptation with existing supervised LTH techniques. We experiment with two well-known unsupervised domain adaptation techniques: GenQ and GPL. Our domain adaptation injection technique can improve the downstream zero-shot retrieval effectiveness for both BPR and JPQ variants of the TAS-B model by on average 11.5% and 8.2% nDCG@10 while both maintaining 32$ imes$ memory efficiency and 14$ imes$ and 2$ imes$ speedup respectively in CPU retrieval latency on BEIR. All our code, models, and data are publicly available at https://github.com/thakur-nandan/income.

研究动机与目标

• 解决现有学习哈希（LTH）技术在应用于多样化领域时零样本泛化能力差的问题。
• 在不牺牲内存或推理效率的前提下，提升压缩密集检索器的下游检索效果。
• 评估领域自适应是否能够弥合域内LTH与零样本密集检索之间的性能差距。
• 在保持高效率（内存占用和检索延迟）的同时，提升在BEIR的18个多样化数据集上的泛化能力。

提出的方法

• 通过在源领域（MS MARCO）生成的合成训练数据上微调预训练LTH模型（BPR和JPQ），将领域自适应注入预训练LTH模型，以适应BEIR中的目标领域。
• 采用两种无监督领域自适应技术：GenQ和GPL，通过生成合成的查询-文档对来提升模型泛化能力。
• 在合成数据上使用排序损失（如BPR损失）训练LTH模型，使模型能够学习跨领域的语义对齐。
• 保持TAS-B检索器原始的32位密集嵌入大小，并通过LTH将其压缩为二进制码，以保持检索效率。
• 使用nDCG@10作为主要指标，在BEIR基准的18个多样化数据集上进行评估。
• 使用FAISS和暴力搜索测量内存使用量和CPU检索延迟，以确保效率得到保持。

实验结果

研究问题

• RQ1 监督式LTH技术（如BPR和JPQ）能否在BEIR基准所涵盖的多样化领域中有效实现零样本检索？
• RQ2 与在单一领域上进行朴素LTH微调相比，将领域自适应注入LTH模型是否能提升其零样本检索效果？
• RQ3 领域自适应在多大程度上能保持LTH的内存和延迟效率，同时提升跨领域性能？
• RQ4 不同领域自适应策略（GenQ与GPL）在提升未见领域中LTH性能方面的表现如何比较？

主要发现

• 将LTH技术（BPR和JPQ）直接应用于零样本检索时，在BEIR数据集上平均nDCG@10比零样本TAS-B密集检索器低最多14%。
• 通过GPL注入领域自适应，BPR和JPQ在nDCG@10上的平均性能分别较零样本TAS-B基线提升11.5%和8.2%。
• 所提方法相比原始TAS-B密集检索器保持32倍内存效率，880万条文本的索引大小低于1 GB。
• 与原始TAS-B密集检索器相比，BPR的CPU检索延迟降低14倍，JPQ降低2倍，显示出显著的加速效果。
• 基于GPL的领域自适应带来最高的性能增益，但计算成本较高，原因在于交叉编码器教师推理和全语料库嵌入计算。
• 该方法具有模型无关性，可扩展至更强的主干模型（如Contriever）或更新的LTH方法（如RepCONC）。