[论文解读] Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension

Bo Zheng, Haoyang Wen+6 more|arXiv (Cornell University)|May 12, 2020

Topic Modeling参考文献 33被引用 6

一句话总结

该论文提出了一种基于图注意力网络（GAT）的框架，通过结合 BERT 和 GAT，联合建模文档在四种粒度——词、句子、段落和文档——上的表示，以提升 Natural Questions 数据集上的多粒度机器阅读理解性能。通过联合训练长答案（段落级）和短答案（实体级）预测任务，模型捕捉了跨粒度的依赖关系，在提交时达到了该任务的最先进性能。

ABSTRACT

Natural Questions is a new challenging machine reading comprehension benchmark with two-grained answers, which are a long answer (typically a paragraph) and a short answer (one or more entities inside the long answer). Despite the effectiveness of existing methods on this benchmark, they treat these two sub-tasks individually during training while ignoring their dependencies. To address this issue, we present a novel multi-grained machine reading comprehension framework that focuses on modeling documents at their hierarchical nature, which are different levels of granularity: documents, paragraphs, sentences, and tokens. We utilize graph attention networks to obtain different levels of representations so that they can be learned simultaneously. The long and short answers can be extracted from paragraph-level representation and token-level representation, respectively. In this way, we can model the dependencies between the two-grained answers to provide evidence for each other. We jointly train the two sub-tasks, and our experiments show that our approach significantly outperforms previous systems at both long and short answer criteria.

研究动机与目标

• 为了解决现有模型将长答案和短答案抽取视为独立任务的局限性，忽略了二者之间的相互依赖关系。
• 使用基于图的分层表示，对文档在多个粒度（词、句子、段落和文档）上进行建模。
• 通过联合训练长答案和短答案子任务并共享多粒度表示，提升 Natural Questions 基准测试上的性能。
• 证明建模双粒度答案之间的依赖关系可提升整体 MRC 准确率。

提出的方法

• 模型使用 BERT 将问题和文档片段编码为上下文相关的嵌入表示。
• 构建异质图，其中节点代表词、句子、段落和文档，边则编码它们之间的结构与语义关系。
• 应用图注意力网络（GAT）在图中传播和聚合表示，以捕捉跨粒度的分层依赖关系。
• 模型联合优化长答案预测（基于段落级表示）和短答案预测（基于词级起止跨度）。
• 图集成层整合多粒度表示，实现跨层级的信息流动与联合优化。
• 推理阶段采用流水线策略：先选择长答案，再从选定的长答案中提取短答案。

实验结果

研究问题

• RQ1 联合训练长答案与短答案预测是否能提升多粒度 MRC 基准测试的性能？
• RQ2 在多个粒度（词、句子、段落、文档）上建模文档如何增强答案抽取能力？
• RQ3 图注意力机制在捕捉文档层级间分层依赖关系方面起到了什么作用？
• RQ4 图编码器的不同组件（如关系嵌入、自注意力、集成层）对模型性能有何影响？

主要发现

• 在提交时（2019 年 6 月 25 日），该模型在 Natural Questions 基准测试的长答案和短答案评估指标上均达到了最先进性能。
• 与独立训练子任务相比，联合训练长答案和短答案任务可显著提升性能：若任一子任务被移除，长答案 F1 下降 5.0%，短答案 F1 下降 0.9%。
• 移除整个图模块后，长答案 F1 下降 5.0%，短答案 F1 下降 0.9%，表明多粒度图表示的重要性。
• 消融实验表明，图编码器的每个组件——关系嵌入、图集成层和自注意力——均对性能有显著贡献，其移除导致性能下降 0.5% 至 0.8%。
• 该模型在开发集上对长答案和短答案的评估指标均超过了单人人类水平表现。