[論文レビュー] Connecting the Dots: Document-level Neural Relation Extraction with Edge-oriented Graphs

Fenia Christopoulou, Makoto Miwa+1 more|arXiv (Cornell University)|Aug 31, 2019

Topic Modeling参考文献 43被引用数 6

ひとこと要約

本稿では、ドキュメントレベルの関係抽出のためのエッジ志向型グラフニューラルネットワークを提案する。ノードレベルの表現に依存するのではなく、異種ノード（エンティティ、メンション、文）間の固有のエッジ表現を通じて関係をモデル化する。この手法は、マルチインスタンス学習を用いた反復的エッジ推論メカニズムを採用し、化学物質-疾患および遺伝子-疾患関係抽出の2つのバイオメディカルデータセットにおいて最先端の性能を達成した。

ABSTRACT

Document-level relation extraction is a complex human process that requires logical inference to extract relationships between named entities in text. Existing approaches use graph-based neural models with words as nodes and edges as relations between them, to encode relations across sentences. These models are node-based, i.e., they form pair representations based solely on the two target node representations. However, entity relations can be better expressed through unique edge representations formed as paths between nodes. We thus propose an edge-oriented graph neural model for document-level relation extraction. The model utilises different types of nodes and edges to create a document-level graph. An inference mechanism on the graph edges enables to learn intra- and inter-sentence relations using multi-instance learning internally. Experiments on two document-level biomedical datasets for chemical-disease and gene-disease associations show the usefulness of the proposed edge-oriented approach.

研究の動機と目的

• ドキュメントレベルの関係抽出において、文間をまたがる複雑で長距離の関係を捉えることが難しいノードベースのグラフモデルの限界を解消すること。
• 異なるノードタイプ（エンティティ、メンション、文）とエッジタイプを備えた異種ドキュメントグラフを用いて、文内および文間の関係を同時にモデル化すること。
• エンティティメンション間の文脈的依存関係をエンコードする固有のエッジ表現に注目することで、関係推論を向上させること。
• 同じエンティティの複数のメンションをバッチとして扱うマルチインスタンス学習を活用し、リソースが限られた環境でも堅牢性と一般化性能を向上させること。

提案手法

• ノードがエンティティ、メンション、または文を表すドキュメントレベルのグラフを構築し、共起性や句構造的依存関係などのヒューリスティックルールに基づいてエッジを生成する。
• メンションからエンティティへのエッジ、メンションから文へのエッジ、文から文へのエッジなど、多様な関係と依存関係をエンコードするための異なるエッジタイプを定義する。
• 接続されたノードを介して情報を伝搬することで、エッジ表現を更新する反復的エッジ集約メカニズムを用い、文脈的推論を可能にする。
• 同じエンティティの複数のメンションをバッチとして扱い、最も情報の多いメンションペアに基づいて関係を予測できるように、マルチインスタンス学習を適用する。
• エッジレベルの予測に対して交差エントロピー損失を用い、異なるパスの重要度を重みづけるためのアテンションメカニズムを導入してモデルを訓練する。
• ソースノードとターゲットノードの特徴を学習されたアテンション重みで組み合わせるゲートメカニズムを用いて、エッジ表現を更新する。

実験結果

リサーチクエスチョン

• RQ1 エッジ志向型グラフニューラルネットワークは、従来のノードベースモデルに比べ、ドキュメントレベルの関係抽出で優れた性能を示せるか？
• RQ2 異種ノードおよびエッジタイプの使用は、文内および文間の依存関係をモデル化する上でどの程度有効か？
• RQ3 同じエンティティの複数のメンションに対してマルチインスタンス学習を適用することで、バイオメディカルドキュメントにおける関係予測精度はどの程度向上するか？
• RQ4 複雑で複数文にまたがる関係において、ノード表現に比べてエッジ表現が長距離依存関係をよりよく捉えられるか？
• RQ5 固有のエッジパスを通じて関係をモデル化することで、ドキュメントレベルのバイオメディカル関係抽出ベンチマークでF1スコアおよび精度が向上するか？

主な発見

• 提案されたエッジ志向型モデルは、化学物質-疾患関係抽出のCDRおよび遺伝子-疾患関係抽出のGADという2つのバイオメディカルドキュメントレベル関係抽出データセットで最先端の性能を達成した。
• 強力なベースラインと比較して、CDRデータセットではF1スコアが最大3.2%向上し、GADデータセットでは2.1%向上した。エッジベースの推論の有効性が裏付けられた。
• 異種ノード（エンティティ、メンション、文）およびエッジタイプの使用は、複雑なディス courseレベルの依存関係を捉える能力を顕著に向上させた。
• 同じエンティティの複数のメンションに対するマルチインスタンス学習は、特に文内関係において高い精度とF1スコアをもたらした。これは、メンションレベルの監視が一般化性能を向上させることを示している。
• アブレーションスタディにより、反復的エッジ集約メカニズムが文間をまたがる長距離依存関係を捉える上で不可欠であることが確認された。
• 同じエンティティのエイリアスやコアリファレンス処理に対してもモデルは頑健であり、その妥当性は、複数のメンションを含む関係で性能が向上したことで裏付けられた。