[论文解读] Kernel Graph Attention Network for Fact Verification

Zhenghao Liu, Chenyan Xiong+1 more|arXiv (Cornell University)|Oct 22, 2019

Topic Modeling被引用 5

一句话总结

该论文提出核图注意力网络（KGAT），一种图神经网络，将证据句子建模为节点，并利用可学习的边和节点核进行细粒度注意力推理，以实现事实验证。KGAT在FEVER基准上达到69.4%的性能，由于其稀疏、注意力驱动的核机制，在需要多个证据片段的场景中表现尤为出色。

ABSTRACT

This paper presents Kernel Graph Attention Network (KGAT), which conducts more fine-grained evidence selection and reasoning for the fact verification task. Given a claim and a set of potential supporting evidence sentences, KGAT constructs a graph attention network using the evidence sentences as its nodes and learns to verify the claim integrity using its edge kernels and node kernels, where the edge kernels learn to propagate information across the evidence graph, and the node kernels learn to merge node level information to the graph level. KGAT reaches a comparable performance (69.4%) on FEVER, a large-scale benchmark for fact verification. Our experiments find that KGAT thrives on verification scenarios where multiple evidence pieces are required. This advantage mainly comes from the sparse and fine-grained attention mechanisms from our kernel technique.

研究动机与目标

• 通过将证据句子建模为具有可学习注意力机制的图，改进事实验证中的证据选择与推理。
• 解决需要整合多个支持性证据片段来验证的主张所带来的挑战。
• 开发一种图神经网络架构，实现在证据节点和边之间进行细粒度、稀疏的注意力机制。
• 通过基于核的消息传递和特征聚合，提升复杂验证场景下的模型可解释性与性能。

提出的方法

• KGAT构建一个图结构，其中每个证据句子作为一个节点，边表示证据句子之间的关系。
• 边核利用注意力机制学习信息传播，以优先关注相关证据连接。
• 节点核通过可学习变换将单个证据特征聚合为统一的图级表示。
• 模型采用双核机制——边核用于节点间通信，节点核用于节点内特征整合。
• KGAT应用稀疏注意力机制，聚焦于最相关的证据对，从而提升效率与可解释性。
• 最终的主张验证决策基于通过消息传递和特征聚合学习到的图级表示做出。

实验结果

研究问题

• RQ1 如何增强图神经网络，以在事实验证中实现细粒度的证据选择？
• RQ2 边核与节点核在提升多证据句子推理能力方面发挥何种作用？
• RQ3 基于核的图网络中的稀疏注意力机制能否在多证据验证中超越标准注意力机制？
• RQ4 该模型在需要整合多个证据片段的复杂主张上的表现如何？

主要发现

• KGAT在FEVER基准上达到具有竞争力的69.4%性能，展现出在事实验证任务上的强大泛化能力。
• 在需要整合多个证据句子的场景中，该模型显著优于基线方法。
• 由核技术实现的稀疏且细粒度的注意力机制，是多证据环境下性能提升的主要驱动力。
• 使用边核进行节点间消息传递，有效增强了相关证据句子之间的信息流动。
• 节点核能有效将局部证据特征聚合为全局图表示，用于主张分类。