[论文解读] Augmenting Pre-trained Language Models with QA-Memory for Open-Domain Question Answering

Wenhu Chen, Pat Verga+3 more|arXiv (Cornell University)|Apr 10, 2022

Topic Modeling被引用 4

一句话总结

本文提出 QAMAT，一种基于问答记忆增强的 Transformer 模型，通过预训练模型从大规模记忆存储中检索并使用问答对，从而提升开放域问答性能。该方法引入一种两阶段预训练策略，显著提升小样本数据集上的表现，并通过迭代检索实现多跳推理，在 Musique 和 HotpotQA 等复杂基准测试中优于以往仅基于问答的模型。

ABSTRACT

Retrieval augmented language models have recently become the standard for knowledge intensive tasks. Rather than relying purely on latent semantics within the parameters of large neural models, these methods enlist a semi-parametric memory to encode an index of knowledge for the model to retrieve over. Most prior work has employed text passages as the unit of knowledge, which has high coverage at the cost of interpretability, controllability, and efficiency. The opposite properties arise in other methods which have instead relied on knowledge base (KB) facts. At the same time, more recent work has demonstrated the effectiveness of storing and retrieving from an index of Q-A pairs derived from text \citep{lewis2021paq}. This approach yields a high coverage knowledge representation that maintains KB-like properties due to its representations being more atomic units of information. In this work we push this line of research further by proposing a question-answer augmented encoder-decoder model and accompanying pretraining strategy. This yields an end-to-end system that not only outperforms prior QA retrieval methods on single-hop QA tasks but also enables compositional reasoning, as demonstrated by strong performance on two multi-hop QA datasets. Together, these methods improve the ability to interpret and control the model while narrowing the performance gap with passage retrieval systems.

研究动机与目标

• 解决问答-记忆模型中大规模监督数据不足的问题，这是该类模型的关键瓶颈。
• 通过引入一种新颖的问答检索预训练任务，提升在 WebQuestions 等低资源问答基准上的性能。
• 利用基于问答记忆的系统实现复合推理，克服以往模型仅支持单跳查询的局限性。
• 开发比潜在检索方法更高效的训练流程，避免昂贵的异步索引更新。
• 证明问答对可作为有效且可扩展的知识单元，其覆盖范围广于文本段落，可与知识库三元组相媲美。

提出的方法

• 提出 QAMAT，一种基于 T5 的编码器-解码器模型，通过存储问答对的键值记忆进行增强。
• 采用两阶段预训练策略：首先在小批量问答对上预训练编码器以学习检索与理解，然后在固定全局记忆上进行微调。
• 通过现有问答生成方法从文本段落生成大规模预训练语料。
• 训练模型在掩码答案后从记忆中检索正确问答对，模拟推理阶段的检索过程。
• 提出 QAMAT+，一种多轮检索扩展，通过迭代查询问答记忆，串联推理步骤以应对复杂问题。
• 在冻结编码器后使用固定全局记忆索引，实现高效推理，避免昂贵的在线索引更新。

实验结果

研究问题

• RQ1 针对问答检索的预训练任务是否能显著提升在小样本、低资源问答基准上的性能？
• RQ2 基于问答记忆的模型是否能在不依赖文档检索或结构化知识库的情况下实现多跳推理？
• RQ3 两阶段预训练流程是否在效率与性能上优于端到端的潜在检索方法？
• RQ4 问答对能否作为有效的知识单元，支持单跳与复合推理？
• RQ5 检索的问答对数量如何影响模型性能与推理效率？

主要发现

• 两阶段预训练策略显著提升下游性能，在未微调的情况下于 NQ 上达到 44.5% EM，在 TriviaQA 上达到 53.2%。
• QAMAT+ 在 Musique（一项具有挑战性的多跳问答数据集）上达到最先进性能，优于 RePAQ 和 T5-CBQA。
• 即使在 K=20 次检索下，NQ 和 TriviaQA 上的 EM 分数也趋于饱和，表明超过适度数量的检索对对性能提升有限。
• 若移除小批量预训练阶段，性能显著下降（例如 WebQuestions 上 EM 仅为 26.0%），表明该阶段在泛化能力中起关键作用。
• 仅通过预训练，模型在 NQ 和 TriviaQA 的零样本设置下即达到 40% EM，展现出强大的 few-shot 泛化能力。
• QAMAT+ 在多跳数据集上优于单跳 QAMAT，证明迭代检索在复合推理中的有效性。