[论文解读] Cognitive Graph for Multi-Hop Reading Comprehension at Scale

Ming Ding, Chang Zhou+3 more|arXiv (Cornell University)|May 14, 2019

Topic Modeling参考文献 29被引用 28

一句话总结

本文提出 CogQA，一种基于认知图的可扩展多跳阅读理解框架，通过结合隐式检索系统（系统1）与显式推理系统（系统2），模拟人类双过程推理。利用 BERT 和图神经网络，其在 HotpotQA fullwiki 基准上实现了 34.9 的 SOTA 联合 F₁ 分数，显著优于先前方法，并提供了可解释的、基于实体的推理路径。

ABSTRACT

We propose a new CogQA framework for multi-hop question answering in web-scale documents. Inspired by the dual process theory in cognitive science, the framework gradually builds a extit{cognitive graph} in an iterative process by coordinating an implicit extraction module (System 1) and an explicit reasoning module (System 2). While giving accurate answers, our framework further provides explainable reasoning paths. Specifically, our implementation based on BERT and graph neural network efficiently handles millions of documents for multi-hop reasoning questions in the HotpotQA fullwiki dataset, achieving a winning joint $F_1$ score of 34.9 on the leaderboard, compared to 23.6 of the best competitor.

研究动机与目标

• 解决开放域问答中大规模复杂多跳推理的挑战。
• 通过提供有序的、基于实体的推理路径（而非无序的句子级支持），提升问答系统的可解释性。
• 通过基于图的检索与推理框架，实现在数百万篇网络规模文档上的高效推理，提升可扩展性。
• 通过将人类类比的认知过程——快速（系统1）与慢速（系统2）思维——整合到统一架构中，克服黑箱模型的局限性。
• 证明通过认知图进行结构化推理可同时提升多跳问答的准确率与可解释性。

提出的方法

• 该框架采用受双过程理论启发的双系统架构：系统1（隐式）使用 BERT 执行与问题相关的实体和答案候选提取。
• 系统2（显式）使用图神经网络（GNN）在动态构建的认知图上执行推理，以更新节点表示。
• 认知图被迭代扩展：系统1基于前驱节点的线索创建新的跳跃节点与答案节点，而系统2通过推理信号引导该过程。
• 图中的每个节点代表一个实体或答案候选，边表示从上下文派生的语义或关系连接。
• 系统1通过问题感知编码生成初始语义表示，而系统2通过图上的消息传递更新隐藏状态。
• 该过程持续进行，直到无新前沿节点可添加或图达到足够规模，随后根据系统2的最终得分选择答案。

实验结果

研究问题

• RQ1 基于认知图的框架能否在大规模开放域问答中有效建模多跳推理？
• RQ2 与端到端模型相比，集成系统1（快速、隐式检索）与系统2（慢速、显式推理）在推理准确率与可解释性方面有何提升？
• RQ3 认知图结构在多跳问答中在多大程度上实现了有序的、基于实体的可解释性？
• RQ4 该框架在保持复杂推理任务高性能的同时，能否高效扩展至数百万篇文档？
• RQ5 若缺少显式推理（即仅使用系统1），性能将如何变化？这揭示了结构化推理的何种作用？

主要发现

• CogQA 在 HotpotQA fullwiki 数据集上实现了 34.9 的联合 F₁ 分数，显著优于最佳竞争模型的 23.6 分数。
• 该模型通过生成有序、基于实体的推理路径，展现出强大的可解释性，这些路径与人类认知过程相吻合。
• 消融实验表明，若移除系统2（即仅使用系统1），Ans 指标性能下降约 50%，凸显显式推理的关键作用。
• 案例研究证实，认知图支持稳健推理，包括语义匹配（如 'Senate' 与 'upper house'）以及处理名称变体（如 'Ten Walls' 与 'Marijus Adomaitis'）。
• 该框架能够有效处理依赖语义理解而非仅命名实体的复杂检索问题，而这些问题是仅依赖命名实体的模型难以应对的。
• BERT 与 GNN 的集成使得在大规模网络文档上实现高效、可扩展的推理成为可能，展示了其在真实世界问答系统中的实际可行性。