[论文解读] Low-Resource Dense Retrieval for Open-Domain Question Answering: A Comprehensive Survey

Xiaoyu Shen, Svitlana Vakulenko+4 more|arXiv (Cornell University)|Aug 5, 2022

Topic Modeling被引用 6

一句话总结

本综述提出了一种面向开放域问答中低资源密集检索技术的结构化、基于资源的分类法，根据所需领域内数据（仅文档、文档+问题，或文档+问答对）对方法进行分类。综述回顾了自监督、远程监督和多任务方法，以减少对昂贵标注的依赖，为从业者提供了一套基于可用数据资源选择方法的实用指南，并指出了模型泛化能力和跨语言迁移中的开放性挑战。

ABSTRACT

Dense retrieval (DR) approaches based on powerful pre-trained language models (PLMs) achieved significant advances and have become a key component for modern open-domain question-answering systems. However, they require large amounts of manual annotations to perform competitively, which is infeasible to scale. To address this, a growing body of research works have recently focused on improving DR performance under low-resource scenarios. These works differ in what resources they require for training and employ a diverse set of techniques. Understanding such differences is crucial for choosing the right technique under a specific low-resource scenario. To facilitate this understanding, we provide a thorough structured overview of mainstream techniques for low-resource DR. Based on their required resources, we divide the techniques into three main categories: (1) only documents are needed; (2) documents and questions are needed; and (3) documents and question-answer pairs are needed. For every technique, we introduce its general-form algorithm, highlight the open issues and pros and cons. Promising directions are outlined for future research.

研究动机与目标

• 解决在标注问题-文档对稀缺或不可用的低资源设置下训练有效密集检索器的挑战。
• 基于其所需的领域内资源，系统性地将现有低资源密集检索技术分类为：仅文档、文档与问题，或文档与问答对。
• 为从业者提供一份实用的、资源感知的指南，根据其可用的数据资源选择合适的技术。
• 突出低资源密集检索中模型泛化、跨领域性能和跨语言迁移方面的开放性问题。
• 识别有前景的未来研究方向，包括方法整合、系统性选择标准以及参数高效微调。

提出的方法

• 根据所需领域内资源，将低资源密集检索技术分为三类主要组别：(1) 仅文档，(2) 文档与问题，(3) 文档与问答对。
• 回顾自监督方法（如去噪自编码和自对比学习），这些方法仅利用文档语料库来改进表示学习。
• 考察远程监督和基于问题生成的技术，这些技术从文档和/或问题中生成伪问题-文档对，以在无完整标注的情况下训练检索器。
• 分析利用答案-文档映射和隐变量模型的方法，这些方法通过弱监督联合训练检索器和阅读器组件。
• 调查整合策略，如结合密集检索与稀疏检索、多任务学习，以及参数高效微调（如适配器、提示调优）以在数据有限时提升泛化能力。
• 评估域外（OOD）标注在提升零样本或少样本性能方面的作用，特别是在领域不变学习和多任务设置中。

实验结果

研究问题

• RQ1 当仅有文档可用时，哪些低资源密集检索技术最为有效，它们在性能和鲁棒性方面如何比较？
• RQ2 如何从文档和问题中有效生成伪问题-文档对，以在无完整标注的情况下提升检索性能？
• RQ3 在低资源设置下，使用问答对的方法与仅依赖文档或问题-问题对的方法相比，性能提升程度如何？
• RQ4 像结合密集检索与稀疏检索或多任务学习这样的整合策略，在低资源场景下如何增强性能？
• RQ5 在跨领域和跨语言场景下，低资源密集检索模型泛化能力的关键局限和开放挑战是什么？

主要发现

• 仅依赖文档的技术（如自对比学习和去噪自编码）可在无任何问题或标注数据的情况下实现具有竞争力的性能。
• 基于问题生成和远程监督的方法，从文档和问题中生成伪对，即使监督有限，也能显著提升检索性能。
• 通过隐变量模型或答案-文档映射进行联合训练，可实现检索器与阅读器的端到端弱监督学习，降低对强标注的依赖。
• 与稀疏检索（如BM25）结合或采用多任务学习，能持续提升零样本和少样本性能，表明密集方法与稀疏方法具有互补优势。
• 参数高效微调方法（如提示调优和适配器）仅更新0.1%的参数即可实现强大泛化能力，在低数据场景下优于全量微调。
• 尽管结果令人鼓舞，但大多数方法在非英语语言上的测试仍不充分，性能差距依然存在，主要归因于对语言特定启发式方法的依赖或数据稀缺。