[论文解读] Hierarchical Graph Network for Multi-hop Question Answering

Yuwei Fang, Siqi Sun+4 more|arXiv (Cornell University)|Nov 9, 2019

Topic Modeling参考文献 44被引用 29

一句话总结

该论文提出了一种分层图网络（HGN），用于多跳问答任务，将问题、段落、句子和实体节点整合为统一的多粒度图结构。通过使用预训练上下文编码器和图神经网络传播机制，HGN联合预测支持性事实与答案，在HotpotQA基准上取得了最先进性能，包括在Fullwiki设置下达到85.1%的联合F1，在Distractor设置下达到74.0%。

ABSTRACT

In this paper, we present Hierarchical Graph Network (HGN) for multi-hop question answering. To aggregate clues from scattered texts across multiple paragraphs, a hierarchical graph is created by constructing nodes on different levels of granularity (questions, paragraphs, sentences, entities), the representations of which are initialized with pre-trained contextual encoders. Given this hierarchical graph, the initial node representations are updated through graph propagation, and multi-hop reasoning is performed via traversing through the graph edges for each subsequent sub-task (e.g., paragraph selection, supporting facts extraction, answer prediction). By weaving heterogeneous nodes into an integral unified graph, this hierarchical differentiation of node granularity enables HGN to support different question answering sub-tasks simultaneously. Experiments on the HotpotQA benchmark demonstrate that the proposed model achieves new state of the art, outperforming existing multi-hop QA approaches.

研究动机与目标

• 为解决多跳问答中跨多个文档分散证据聚合的挑战。
• 通过在统一图结构中建模异构的多粒度节点，提升支持性事实与答案的联合预测性能。
• 克服现有实体图或仅段落方法的局限性，这些方法无法支持复杂推理与子任务监督。

提出的方法

• 构建包含四种节点类型的分层图：问题、段落、句子和实体，通过语义和结构连接进行关联。
• 使用类似BERT和RoBERTa的预训练语言模型初始化节点表示，实现上下文编码。
• 应用图神经网络（GNN）消息传递机制，通过多跳传播更新节点表示，支持多跳推理。
• 利用更新后的节点表示，联合执行段落选择、支持性事实抽取与答案预测。
• 集成跨度预测模块，识别文档中的答案跨度，即使答案在图中并非实体。
• 将推理限制在两跳和四段落以内以保持效率，未来可通过滑动窗口或长序列模型扩展。

实验结果

研究问题

• RQ1 统一的多粒度图结构能否有效支持多跳问答中支持性事实与答案的联合预测？
• RQ2 与仅包含实体或仅包含段落的图相比，引入不同粒度层级的节点（如句子和实体）在多跳推理性能上是否有所提升？
• RQ3 分层图传播在复杂推理任务中，对跨多个文档的证据聚合能力有多大的增强作用？
• RQ4 该模型在不同类型推理（如桥接型、比较型）以及常见错误类别（如常识推理、多跳失败）上的表现如何？
• RQ5 该分层图框架能否推广至HotpotQA以外的其他多跳问答数据集？

主要发现

• HGN在HotpotQA Fullwiki设置下实现了85.1%的联合F1，创下新的最先进性能记录。
• 在Distractor设置下，HGN达到74.0%的联合F1，表明其在具有挑战性的多跳推理任务中具备强大鲁棒性。
• 模型在'comp-yn'类型问题上表现最佳（88.5%联合F1），表明其在是/否类推理任务中表现优异；而在'bridge'和'comp-span'类型问题上表现较低。
• 错误分析显示，大多数失败源于多跳推理错误和机器阅读理解中的跨度选择错误，表明推理路径学习仍有改进空间。
• 常识推理以及存在多个有效答案的问题（如'U.S.-born'与'American-born'）是主要错误来源，凸显了模型在超越表面模式推理方面的局限性。