[论文解读] Disentangled Modeling of Domain and Relevance for Adaptable Dense Retrieval

Jingtao Zhan, Qingyao Ai+5 more|arXiv (Cornell University)|Aug 11, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出去耦合密集检索（DDR），一种新颖的框架，将相关性估计与特定领域建模解耦，以实现在密集检索中有效且灵活的领域自适应。通过一次使用监督数据训练领域无关的相关性估计模块（REM），并针对每个目标领域无监督地适应领域自适应模块（DAM），DDR 显著提升了在强基线模型上的域外检索性能，尤其在低资源或未见领域中表现突出。

ABSTRACT

Recent advance in Dense Retrieval (DR) techniques has significantly improved the effectiveness of first-stage retrieval. Trained with large-scale supervised data, DR models can encode queries and documents into a low-dimensional dense space and conduct effective semantic matching. However, previous studies have shown that the effectiveness of DR models would drop by a large margin when the trained DR models are adopted in a target domain that is different from the domain of the labeled data. One of the possible reasons is that the DR model has never seen the target corpus and thus might be incapable of mitigating the difference between the training and target domains. In practice, unfortunately, training a DR model for each target domain to avoid domain shift is often a difficult task as it requires additional time, storage, and domain-specific data labeling, which are not always available. To address this problem, in this paper, we propose a novel DR framework named Disentangled Dense Retrieval (DDR) to support effective and flexible domain adaptation for DR models. DDR consists of a Relevance Estimation Module (REM) for modeling domain-invariant matching patterns and several Domain Adaption Modules (DAMs) for modeling domain-specific features of multiple target corpora. By making the REM and DAMs disentangled, DDR enables a flexible training paradigm in which REM is trained with supervision once and DAMs are trained with unsupervised data. Comprehensive experiments in different domains and languages show that DDR significantly improves ranking performance compared to strong DR baselines and substantially outperforms traditional retrieval methods in most scenarios.

研究动机与目标

• 解决密集检索（DR）模型在域外设置下因领域偏移导致的性能下降问题。
• 克服现有 DR 模型联合学习相关性与特定领域特征的局限性，使其在新领域中缺乏灵活性。
• 在无需每个目标领域标注数据的前提下，实现有效的领域自适应，减少对昂贵标注的依赖。
• 将领域不变的相关性模式学习与特定领域特征学习解耦，以支持模块化、可扩展的自适应。
• 设计一种训练与推理框架，在保持高效率的同时，最小化计算与参数开销。

提出的方法

• 提出一种解耦架构，包含两个组件：用于领域无关匹配的相关性估计模块（REM）和用于特定领域特征的领域自适应模块（DAMs）。
• 使用源领域中的监督数据一次性训练 REM，以学习通用的相关性模式，独立于特定领域的特征。
• 仅使用目标领域语料库中的无监督数据训练每个 DAM，实现在无标注对情况下的特定领域适应。
• 实施去耦微调（DF）以防止 REM 在训练过程中学习特定领域特征，从而增强泛化能力。
• 采用顺序初始化（SI）将 DAM 用源领域 DAM 的权重进行初始化，而非随机初始化或 BERT 检查点，以提升与 REM 的兼容性。
• 使用参数高效的微调方法（LoRA 和 PA）以最小化 DAM 自适应过程中的额外参数与推理开销。

实验结果

研究问题

• RQ1 将相关性估计与领域建模解耦，是否能提升密集检索模型在多样化、未见领域中的泛化能力？
• RQ2 一个一次性训练好的 REM 在无需重新训练的情况下，能否在多个域外设置中保持性能？
• RQ3 在目标领域语料库上对 DAM 进行无监督微调，与标准 DR 微调相比，能在多大程度上缓解领域偏移？
• RQ4 哪些优化技术（如去耦微调、顺序初始化）最有效地稳定并提升解耦框架的性能？
• RQ5 选择参数高效的微调方法（LoRA 与 PA）如何影响不同语言与领域中的性能表现？

主要发现

• DDR 在强 DR 基线模型上实现了显著的 R@1000 性能提升，尤其在 CPR-Medical (zh) 和 Lotte-Sci (en) 等域外数据集上，最高提升达 12.6%。
• DDR 在大多数域外场景中优于传统检索方法（如 BM25），证明其在低资源或未见领域中的有效性。
• 消融实验证实，若移除去耦微调（DF），REM 的泛化能力下降，导致在各领域平均性能下降 5.5%。
• 顺序初始化（SI）提升了 DAM 与 REM 的兼容性，DDR\SI 在所有数据集上的 R@1000 平均性能比 DDR\DF 提升 2.5%。
• LoRA 和 PA 参数高效微调方法带来的推理开销极小，其中 LoRA 实现零额外计算，PA 仅增加微小成本。
• 该框架展现出强大的跨语言泛化能力，PA 在中文数据集上优于 LoRA，而 LoRA 在英文数据集上表现更优，表明存在语言特定的优化模式。