[论文解读] End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering

Devendra Singh Sachan, Siva Reddy+3 more|arXiv (Cornell University)|Jun 9, 2021

Topic Modeling被引用 45

一句话总结

本文提出 EMDR2，一种端到端可微分框架，它通过将检索到的文档集合建模为潜在变量并使用受 EM 启发的训练循环，联合训练多文档阅读器和开放域问答检索器。

ABSTRACT

We present an end-to-end differentiable training method for retrieval-augmented open-domain question answering systems that combine information from multiple retrieved documents when generating answers. We model retrieval decisions as latent variables over sets of relevant documents. Since marginalizing over sets of retrieved documents is computationally hard, we approximate this using an expectation-maximization algorithm. We iteratively estimate the value of our latent variable (the set of relevant documents for a given question) and then use this estimate to update the retriever and reader parameters. We hypothesize that such end-to-end training allows training signals to flow to the reader and then to the retriever better than staged-wise training. This results in a retriever that is able to select more relevant documents for a question and a reader that is trained on more accurate documents to generate an answer. Experiments on three benchmark datasets demonstrate that our proposed method outperforms all existing approaches of comparable size by 2-3% absolute exact match points, achieving new state-of-the-art results. Our results also demonstrate the feasibility of learning to retrieve to improve answer generation without explicit supervision of retrieval decisions.

研究动机与目标

• 推动面向多文档的检索增强开放域问答的端到端训练。
• 提出一个基于 EM 的框架，联合训练神经检索器和神经阅读器。
• 证明端到端训练在文档选择和答案质量方面优于阶段性训练。
• 在 Natural Questions、TriviaQA 和 WebQuestions 上展示与同等模型尺寸相比的最先进结果。

提出的方法

• 使用双编码器检索器为一个问题选择一个 top-K 文档集合。
• 采用 Fusion-in-Decoder (FiD) 作为多文档阅读器，从多个检索到的文档中生成答案。
• 将端到端训练表述为对文档集合 Z 的潜在变量学习，并应用类似 EM 的目标函数。
• 从先验分数估计与阅读相关的潜在集合 Z_reader，从类似后验的目标估计检索相关的潜在集合 Z_retriever。
• 计算一个实际目标，将阅读器的 p(a|q,Z_topK;Θ) 与检索器的 Σ_k p(a|q,z_k;Θ) p(z_k|q;Φ) 的可处理近似相结合。
• 利用 stop-gradient 运算符稳定联合训练，防止在某些步骤中阅读器信号泄漏到检索器的更新。

实验结果

研究问题

• RQ1 与阶段性训练相比，多文档检索-阅读系统的端到端训练是否能提升开放域问答的性能？
• RQ2 将检索到的文档集合建模为潜在变量并使用 EM 启发式更新是否能带来更好的文档选择和答案质量？
• RQ3 在标准 OpenQA 基准测试（NQ、TriviaQA、WebQuestions）上，使用相同模型尺寸的情况下，所提出的 EMDR2 框架的表现如何？
• RQ4 该方法对检索器初始化的鲁棒性如何，包括无监督预训练？
• RQ5 检索文档数量和初始化策略对性能有何影响？

主要发现

• EMDR2 在与同等模型尺寸相比的情况下，在 Natural Questions、TriviaQA 和 WebQuestions 上实现了新的最先进的 exact-match 成绩。
• 端到端训练结合潜在集合检索信号比具有相同架构的 FiD 基线性能更好。
• EMDR2 对无监督检索器初始化具有鲁棒性，仍能取得强结果，减少对有监督检索器预训练的依赖。
• 在端到端训练下使用 50 个检索文档的效果优于使用相同文档但非端到端训练的配置，突出联合优化的好处。
• 与 FiD-KD 相比，EMDR2 提供更高的 EM 分数，并需要更少的文档和训练周期，提供效率和鲁棒性优势。
• 消融分析表明，检索目标和端到端的 EM 式更新有助于性能提升，而某些替代方法可能发散或表现不佳。