[论文解读] Biomedical Event Extraction on Graph Edge-conditioned Attention Networks with Hierarchical Knowledge Graphs

Kung-Hsiang Huang, Mu Yang+1 more|arXiv (Cornell University)|Sep 20, 2020

Biomedical Text Mining and Ontologies被引用 5

一句话总结

本文提出了一种图边条件注意力网络（GEANet），结合UMLS的分层知识图谱，以提升生物医学事件抽取性能，尤其针对具有非指示性触发词的嵌套和复杂事件。通过将句子锚定到结构化的知识图谱，并利用GEANet进行消息传递，该模型在BioNLP 2011 GENIA基准测试中，所有事件和复杂事件的F1值分别提升了1.41%和3.19%。

ABSTRACT

Biomedical event extraction is critical in understanding biomolecular interactions described in scientific corpus. One of the main challenges is to identify nested structured events that are associated with non-indicative trigger words. We propose to incorporate domain knowledge from Unified Medical Language System (UMLS) to a pre-trained language model via Graph Edge-conditioned Attention Networks (GEANet) and hierarchical graph representation. To better recognize the trigger words, each sentence is first grounded to a sentence graph based on a jointly modeled hierarchical knowledge graph from UMLS. The grounded graphs are then propagated by GEANet, a novel graph neural networks for enhanced capabilities in inferring complex events. On BioNLP 2011 GENIA Event Extraction task, our approach achieved 1.41% F1 and 3.19% F1 improvements on all events and complex events, respectively. Ablation studies confirm the importance of GEANet and hierarchical KG.

研究动机与目标

• 解决在科学文本中识别具有非指示性触发词的嵌套和复杂生物医学事件的挑战。
• 将统一医学语言系统（UMLS）的领域特定知识整合到预训练语言模型中，以提升事件检测性能。
• 构建一种分层知识图谱表示方法，以更好地建模生物医学实体与事件之间的关系。
• 设计一种新型图神经网络GEANet，通过边条件注意力机制增强事件推理能力。
• 提升在BioNLP 2011 GENIA事件抽取基准测试中的性能，尤其针对复杂事件类型。

提出的方法

• 从UMLS构建分层知识图谱，以在多个抽象层次上表示生物医学概念及其关系。
• 通过将实体链接到分层知识图谱中的对应节点，为每个句子构建专属的图结构。
• 应用图边条件注意力网络（GEANet）在图中传播表示，其中注意力权重基于边特征进行条件化。
• 利用GEANet生成的增强上下文表示，更准确地预测事件触发词及其论元，从而更好地建模长距离和复杂依赖关系。
• 使用图增强表示对预训练语言模型进行微调，以联合优化事件检测与论元分类。
• 利用边条件注意力机制，根据图边的语义和结构特性动态调整消息传递过程。

实验结果

研究问题

• RQ1 将UMLS的分层知识图谱集成是否能提升对具有非指示性触发词的生物医学事件的检测能力？
• RQ2 与标准图神经网络相比，GEANet在建模复杂嵌套事件结构方面提升了多少？
• RQ3 知识图谱的分层结构在事件抽取任务中如何促进更好的泛化能力？
• RQ4 图表示与GEANet架构在提升复杂事件F1分数方面，各自的相对贡献如何？
• RQ5 边条件注意力机制是否相比图基模型中的标准注意力机制，能实现更准确的事件触发词识别？

主要发现

• 所提出的方法在BioNLP 2011 GENIA事件抽取数据集上，相较于基线模型，所有事件的F1值绝对提升了1.41%。
• 对于复杂事件——特别是具有嵌套结构和非指示性触发词的事件——该模型表现出3.19%的F1提升，显示出在挑战性案例中的优异性能。
• 消融研究证实，GEANet与分层知识图谱组件均对性能增益至关重要，任一组件的移除均导致复杂事件F1值下降超过2%。
• 基于UMLS的知识图谱集成显著增强了模型解析模糊实体与事件指代的能力，得益于上下文化的语义先验。
• 边条件注意力机制有效捕捉了事件图中的长距离依赖与结构模式，在消息传递中优于标准注意力机制。
• 由于分层知识图谱提供的归纳偏置，该模型在检测罕见或低频事件类型方面表现出强鲁棒性。