[论文解读] A Graph-guided Multi-round Retrieval Method for Conversational Open-domain Question Answering

Yongqi Li, Wenjie Li+1 more|arXiv (Cornell University)|Apr 17, 2021

Topic Modeling参考文献 36被引用 5

一句话总结

本文提出了一种图引导的多轮检索方法，用于对话式开放域问答任务，通过利用由超链接连接的维基百科文章构建的文档图，建模对话轮次间答案之间的关系。通过结合相关性反馈与图注意力网络（GAT），该方法提升了检索覆盖率，在公开数据集上使用真实历史答案时F1得分提升11%，使用预测答案时提升5%。

ABSTRACT

In recent years, conversational agents have provided a natural and convenient access to useful information in people's daily life, along with a broad and new research topic, conversational question answering (QA). Among the popular conversational QA tasks, conversational open-domain QA, which requires to retrieve relevant passages from the Web to extract exact answers, is more practical but less studied. The main challenge is how to well capture and fully explore the historical context in conversation to facilitate effective large-scale retrieval. The current work mainly utilizes history questions to refine the current question or to enhance its representation, yet the relations between history answers and the current answer in a conversation, which is also critical to the task, are totally neglected. To address this problem, we propose a novel graph-guided retrieval method to model the relations among answers across conversation turns. In particular, it utilizes a passage graph derived from the hyperlink-connected passages that contains history answers and potential current answers, to retrieve more relevant passages for subsequent answer extraction. Moreover, in order to collect more complementary information in the historical context, we also propose to incorporate the multi-round relevance feedback technique to explore the impact of the retrieval context on current question understanding. Experimental results on the public dataset verify the effectiveness of our proposed method. Notably, the F1 score is improved by 5% and 11% with predicted history answers and true history answers, respectively.

研究动机与目标

• 为解决现有对话式开放域问答系统忽视历史答案与当前答案之间关系的局限性。
• 通过利用超链接连接的文档扩展相关证据，超越初始检索结果，提升检索效果。
• 通过动态整合检索结果的反馈，改进历史上下文建模，以优化问题理解。
• 开发一种集成基于图的检索与多轮相关性反馈的端到端流水线，以提升答案抽取效果。

提出的方法

• 该方法引入了一个Explorer组件，用于从包含历史答案的文档以及初始Retriever检索到的文档中构建文档图。
• 通过沿超链接进行k跳遍历，扩展文档图，以包含初始检索中未覆盖但可能相关的文档。
• 在扩展后的图上应用图注意力网络（GAT），生成增强的文档表示，以提升检索效果。
• 动态历史建模（DHM）通过迭代地利用前一轮检索结果的反馈来优化问题嵌入，实现相关性反馈的整合。
• 系统采用多轮检索策略，每轮根据检索结果动态优化查询，从而提升证据覆盖范围。
• 最终的文档列表被传递给Ranker和Reader以进行答案抽取，图增强的检索显著提升了召回率与相关性。

实验结果

研究问题

• RQ1 如何有效建模对话轮次间答案之间的关系，以提升对话式开放域问答中的检索性能？
• RQ2 超链接连接的文档在多大程度上能提升检索覆盖率，超越初始检索结果？
• RQ3 多轮检索中获得的相关性反馈在多大程度上能改善对复杂、上下文依赖问题的理解？
• RQ4 与仅通过历史问题优化问题表示的传统方法相比，整合答案级关系有何优势？
• RQ5 基于图的检索机制对对话式问答中F1分数与检索召回率有何影响？

主要发现

• 在公开的OR-QuAC数据集上，使用真实历史答案时，该方法使F1得分提升了11%；使用预测历史答案时，F1得分提升了5%。
• Explorer组件在性能上优于单轮和多轮检索基线方法，在其他方法失败的情况下仍能检索到黄金文档。
• 图引导的检索显著提升了召回率，通过包含与历史答案通过超链接关联的文档，尤其在多跳推理场景中表现突出。
• 模型中的注意力权重显示，包含主题相关的内容的历史问题获得更高的注意力分数，且当第二条历史问题包含有用上下文时，其得分也较强。
• 多轮检索策略有效补充了单轮检索，尤其对需要多个证据文档的复杂问题。
• 结果表明，通过文档图建模答案级关系，比单纯依赖问题重写或历史问题拼接更为有效。