[论文解读] Graph-free Multi-hop Reading Comprehension: A Select-to-Guide Strategy

Bohong Wu, Zhuosheng Zhang+1 more|arXiv (Cornell University)|Jul 25, 2021

Topic Modeling参考文献 41被引用 12

一句话总结

本文提出了一种无图结构、选择引导（S2G）的多跳阅读理解框架，通过将证据段落检索重新定义为具有粗到细选择的排序问题，并引入任务特定注意力机制，使该方法在HotpotQA上的表现优于所有现有的图模型。该方法通过级联检索模块捕捉多跳依赖关系，并利用双注意力机制在不使用图结构的情况下增强推理的可解释性，从而实现了最先进性能。

ABSTRACT

Multi-hop reading comprehension (MHRC) requires not only to predict the correct answer span in the given passage, but also to provide a chain of supporting evidences for reasoning interpretability. It is natural to model such a process into graph structure by understanding multi-hop reasoning as jumping over entity nodes, which has made graph modelling dominant on this task. Recently, there have been dissenting voices about whether graph modelling is indispensable due to the inconvenience of the graph building, however existing state-of-the-art graph-free attempts suffer from huge performance gap compared to graph-based ones. This work presents a novel graph-free alternative which firstly outperform all graph models on MHRC. In detail, we exploit a select-to-guide (S2G) strategy to accurately retrieve evidence paragraphs in a coarse-to-fine manner, incorporated with two novel attention mechanisms, which surprisingly shows conforming to the nature of multi-hop reasoning. Our graph-free model achieves significant and consistent performance gain over strong baselines and the current new state-of-the-art on the MHRC benchmark, HotpotQA, among all the published works.

研究动机与目标

• 为解决多跳阅读理解（MHRC）中图模型与无图模型之间的性能差距，特别是在HotpotQA基准上的表现。
• 通过提出一种更高效、更灵活且更具可解释性的无图替代方案，挑战图建模在MHRC中的主导地位。
• 通过建模多跳依赖感知的排序问题，而非简单的二分类任务，改进证据段落检索。
• 通过与人类阅读行为一致的任务特定注意力机制，提升答案和证据抽取的性能。
• 证明多跳推理可在检索阶段有效建模，而不仅限于阅读器模块。

提出的方法

• S2G模型采用级联段落检索模块，以粗到细、逐步推进的方式选择证据段落，显式建模段落之间的多跳依赖关系。
• 将段落检索从点分类任务重新定义为排序得分目标，更有效地捕捉段落的相对重要性。
• 引入得分精炼模块，基于先前选择的证据迭代优化检索得分，以建模顺序推理依赖关系。
• 在答案预测阶段，采用证据引导注意力（EGA），强制模型在答案跨度抽取过程中聚焦于检索到的证据段落。
• 在证据句子抽取阶段，应用句子感知自注意力（SaSA），聚合每个句子内的标记表示，保留句子层面的连贯性。
• 整个框架在HotpotQA上端到端训练，联合优化答案跨度和支撑证据抽取两个任务。

实验结果

研究问题

• RQ1 无图方法能否在多跳阅读理解中超越最先进图模型？
• RQ2 是否可能在段落检索阶段而非仅在阅读器模块中有效建模多跳推理？
• RQ3 引入排序感知检索和得分精炼如何提升多跳问答中证据段落的选择性能？
• RQ4 任务特定注意力机制（SaSA与异构图注意力EGA）在答案和证据抽取子任务中的性能提升程度如何？
• RQ5 设计更优的无图架构是否能在MHRC中超越复杂的图模型？

主要发现

• S2G模型在HotpotQA基准上实现了最先进性能，超越了所有已发表的图模型。
• 该模型显著缩小了无图与图模型之间的性能差距，尤其在支撑证据（Sup）任务上实现显著提升。
• 错误分析显示，仅7.4%的开发集错误源于多跳推理失败，表明模型对推理依赖关系的捕捉能力极强。
• 绝大多数错误（74.5%）源于答案跨度边界问题（不完整或冗余），而非错误的证据检索。
• 该模型在答案跨度和证据段落抽取任务上均表现出稳健性能，证明了S2G设计的有效性。
• S2G框架的成功表明，图建模在MHRC中可能并非不可或缺，从而挑战了该领域普遍存在的假设。