[論文レビュー] Biomedical Event Extraction on Graph Edge-conditioned Attention Networks with Hierarchical Knowledge Graphs

Kung-Hsiang Huang, Mu Yang+1 more|arXiv (Cornell University)|Sep 20, 2020

Biomedical Text Mining and Ontologies被引用数 5

ひとこと要約

本稿では、UMLSの階層的知識グラフを統合したグラフエッジ条件付きアテンションネットワーク（GEANet）を提案し、非指示的トリガーを伴うネストされた複雑なイベントを含む生物医学的イベント抽出を改善することを目的としている。文を構造化された知識グラフに埋め込み、GEANetを用いたメッセージパッシングを実施することで、BioNLP 2011 GENIAベンチマークにおいて、全イベントと複雑なイベントでそれぞれ1.41%および3.19%のF1スコア向上を達成した。

ABSTRACT

Biomedical event extraction is critical in understanding biomolecular interactions described in scientific corpus. One of the main challenges is to identify nested structured events that are associated with non-indicative trigger words. We propose to incorporate domain knowledge from Unified Medical Language System (UMLS) to a pre-trained language model via Graph Edge-conditioned Attention Networks (GEANet) and hierarchical graph representation. To better recognize the trigger words, each sentence is first grounded to a sentence graph based on a jointly modeled hierarchical knowledge graph from UMLS. The grounded graphs are then propagated by GEANet, a novel graph neural networks for enhanced capabilities in inferring complex events. On BioNLP 2011 GENIA Event Extraction task, our approach achieved 1.41% F1 and 3.19% F1 improvements on all events and complex events, respectively. Ablation studies confirm the importance of GEANet and hierarchical KG.

研究の動機と目的

• 科学的テキストにおけるネストされた複雑なイベントを、非指示的トリガー語を伴って特定する課題に対処すること。
• 統合医療言語システム（UMLS）からのドメイン固有の知識を事前学習済み言語モデルに統合し、イベント検出を改善すること。
• 生物医学的エンティティとイベントの間の関係をよりよくモデル化できるように、階層的知識グラフ表現を構築すること。
• エッジ条件付きアテンション機構を用いてイベント推論を強化する新規なグラフニューラルネットワーク（GEANet）を設計すること。
• 特に複雑なイベントタイプにおいて、BioNLP 2011 GENIAイベント抽出ベンチマークでの性能を向上させること。

提案手法

• UMLSから階層的知識グラフを構築し、複数の抽象レベルでの生物医学的概念とその関係を表現すること。
• 各文を、その文固有のグラフにエンティティを対応するノードにリンクさせることで、文固有のグラフに埋め込むこと。
• エッジ特徴に基づいてアテンション重みが条件づけられるグラフエッジ条件付きアテンションネットワーク（GEANet）を適用し、グラフ全体にわたる表現伝搬を実施すること。
• GEANetによる強化された文脈表現を用いて、長距離および複雑な依存関係をよりよくモデル化し、イベントトリガーと引数を予測すること。
• グラフ強化表現を用いて事前学習済み言語モデルを微調整し、イベント検出と引数分類を同時に最適化すること。
• エッジ条件付きアテンションを活用し、グラフエッジの意味的および構造的特性に基づいて動的にメッセージパッシングを調整すること。

実験結果

リサーチクエスチョン

• RQ1 UMLSからの階層的知識グラフを統合することで、非指示的トリガーを伴う生物医学的イベントの検出が向上するか？
• RQ2 標準的なグラフニューラルネットワークと比較して、GEANetは複雑でネストされたイベント構造のモデリングをどの程度向上させるか？
• RQ3 知識グラフの階層的構造は、イベント抽出タスクにおける一般化性能の向上にどのように寄与するか？
• RQ4 グラフ表現とGEANetアーキテクチャの両者が、複雑なイベントにおけるF1スコア向上に果たす相対的寄与度は何か？
• RQ5 エッジ条件付きアテンションメカニズムは、グラフベースのモデルにおいて、標準アテンションと比較してより正確なイベントトリガー同定を可能にするか？

主な発見

• 提案手法は、BioNLP 2011 GENIAイベント抽出データセットにおいて、ベースラインモデルと比較して全イベントで1.41%の絶対的F1スコア向上を達成した。
• 特にネスト構造と非指示的トリガーを有する複雑なイベントにおいて、3.19%のF1スコア向上を示し、困難なケースにおいても優れた性能を発揮した。
• アブレーションスタディの結果、GEANetと階層的知識グラフの両方が性能向上に不可欠であることが確認され、いずれかのコンponentを除外すると、複雑なイベントにおいてF1スコアが2%以上低下した。
• UMLSベースの知識グラフの統合により、文脈に基づいた意味的事前知識を活用することで、曖昧なエンティティおよびイベント参照の解消能力が顕著に向上した。
• エッジ条件付きアテンションメカニズムは、イベントグラフ内の長距離依存関係と構造的パターンを効果的に捉え、メッセージパッシングにおいて標準アテンションメカニズムを上回った。
• 階層的知識グラフが提供するインダクティブバイアスのおかげで、レアまたは低頻度のイベントタイプの検出においても、モデルは頑健な性能を示した。