[论文解读] Explore, Propose, and Assemble: An Interpretable Model for Multi-Hop Reading Comprehension

Yichen Jiang, Nitish Joshi+2 more|arXiv (Cornell University)|Jun 12, 2019

Topic Modeling参考文献 33被引用 9

一句话总结

该论文提出EPAr，一种用于多跳阅读理解的可解释三模块模型，通过推理树探索相关文档，沿每条路径提出答案，并从所有路径中整合证据以预测最终答案。该模型在WikiHop和MedHop数据集上达到最先进性能，显著优于基线模型，并通过可恢复的推理链实现强可解释性。

ABSTRACT

Multi-hop reading comprehension requires the model to explore and connect relevant information from multiple sentences/documents in order to answer the question about the context. To achieve this, we propose an interpretable 3-module system called Explore-Propose-Assemble reader (EPAr). First, the Document Explorer iteratively selects relevant documents and represents divergent reasoning chains in a tree structure so as to allow assimilating information from all chains. The Answer Proposer then proposes an answer from every root-to-leaf path in the reasoning tree. Finally, the Evidence Assembler extracts a key sentence containing the proposed answer from every path and combines them to predict the final answer. Intuitively, EPAr approximates the coarse-to-fine-grained comprehension behavior of human readers when facing multiple long documents. We jointly optimize our 3 modules by minimizing the sum of losses from each stage conditioned on the previous stage's output. On two multi-hop reading comprehension datasets WikiHop and MedHop, our EPAr model achieves significant improvements over the baseline and competitive results compared to the state-of-the-art model. We also present multiple reasoning-chain-recovery tests and ablation studies to demonstrate our system's ability to perform interpretable and accurate reasoning.

研究动机与目标

• 解决证据分散在多份文档中的多跳阅读理解挑战。
• 通过构建文档链的推理树，模拟类人粗粒度到细粒度的推理过程。
• 通过恢复和分析多条分歧推理路径，实现可解释的推理。
• 通过聚合所有合理推理链中的证据，提升答案预测的准确性。

提出的方法

• 文档探索器使用分层记忆网络，迭代选择相关文档并构建分歧路径的推理树。
• 在每次跳跃中，模型根据与查询的相关性选择文档，并将关键实体和关系更新至记忆单元。
• 答案提出器通过关注祖先文档，并在每条路径的叶节点编码词级表示，生成候选答案。
• 证据整合器从每条根到叶的路径中提取关键句子，并将其合并为浓缩的上下文，用于最终答案预测。
• 整个系统通过最小化各模块损失之和进行端到端联合优化，且损失条件依赖于前序阶段的输出。
• 模型通过注意力和记忆机制隐式学习关系，避免依赖外部关系标注。

实验结果

研究问题

• RQ1 模块化、可解释的架构是否能在多跳阅读理解中超越端到端模型？
• RQ2 模型如何在多文档语境中有效探索并表示多条分歧推理链？
• RQ3 模型的推理过程在多大程度上可被人类恢复和解释？
• RQ4 从多条推理路径聚合证据是否能提升答案预测的准确性？
• RQ5 所提出的三阶段（探索-提出-整合）设计是否能增强多跳问答基准上的鲁棒性与泛化能力？

主要发现

• 在WikiHop开发集上，EPAr优于所有已发表的模型，显著超越基线模型。
• 在WikiHop测试集上，EPAr与最先进模型相比表现具有竞争力。
• 在MedHop排行榜测试集上，EPAr优于所有已发表的模型。
• 消融实验表明，每个模块——探索、提出、整合——均对最终性能有显著贡献。
• 推理链恢复测试表明，EPAr能够重建并追踪合理的推理路径，验证了其可解释性。
• 通过将分歧链表示为树结构并融合所有分支的证据，模型有效处理了多跳推理。