[論文レビュー] Double Graph Based Reasoning for Document-level Relation Extraction

Shuang Zeng, Runxin Xu+2 more|arXiv (Cornell University)|Sep 29, 2020

Topic Modeling参考文献 35被引用数 12

ひとこと要約

この論文では、文書レベルの関係抽出のための二重グラフアプローチであるグラフ集約・推論ネットワーク（GAIN）を提案する。GAINは、文書に依存する文脈を捉えるために異種のメンションレベルグラフ（hMG）と、新しいパス推論メカニズムを備えたエンティティレベルグラフ（EG）を用い、多段階の関係を推論する。GAINはDocREDベンチマークにおいて、以前の最先端手法よりもF1スコアで2.85向上を達成し、文間関係および論理的推論が必要な関係において優れた性能を示した。

ABSTRACT

Document-level relation extraction aims to extract relations among entities within a document. Different from sentence-level relation extraction, it requires reasoning over multiple sentences across a document. In this paper, we propose Graph Aggregation-and-Inference Network (GAIN) featuring double graphs. GAIN first constructs a heterogeneous mention-level graph (hMG) to model complex interaction among different mentions across the document. It also constructs an entity-level graph (EG), based on which we propose a novel path reasoning mechanism to infer relations between entities. Experiments on the public dataset, DocRED, show GAIN achieves a significant performance improvement (2.85 on F1) over the previous state-of-the-art. Our code is available at https://github.com/DreamInvoker/GAIN .

研究の動機と目的

• 文書レベルの関係抽出における文単位の手法の限界を克服し、文間および論理的に推論される関係を捉える。
• 長距離依存関係、エンティティ共参照、暗黙の関係推論といった文書レベルのREの課題に取り組む。
• 構造的なグラフ表現を用いて、エンティティ間の多段階パスを明示的に推論するモデルを設計する。
• 文書レベルの関係抽出における複雑な文間関係および論理的依存関係を有するインスタンスの性能を向上させる。

提案手法

• メンションおよび文書ノードを含む異種メンションレベルグラフ（hMG）を構築し、3種類のエッジタイプ（エンティティ内、エンティティ間、文書エッジ）を用いて文間の文脈をモデル化する。
• hMGにグラフ畳み込みネットワーク（GCN）を適用し、各メンションの文書に依存する表現を生成する。
• hMGにおける同一エンティティを指すメンションを統合することでエンティティレベルグラフ（EG）を構築し、エンティティレベルの推論を可能にする。
• エンティティペア間のすべての可能なパスからの情報を選択的に統合するためのアテンションメカニズムを用いたパス推論メカニズムを提案する。
• BERTベースの文脈埋め込みとグラフベースの表現を統合し、特徴学習を強化する。
• DocREDデータセットにおける関係分類のための交差エントロピー損失を用いて、エンドツーエンドのモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 二重グラフアーキテクチャは、文書レベルの関係抽出における長距離依存関係および文書レベルの文脈を効果的にモデル化できるか？
• RQ2 エンティティレベルグラフ上で明示的なパス推論を行うことで、多段階および論理的に依存する関係の推論性能はどのように向上するか？
• RQ3 提案手法は、文間関係および推論が重視される関係インスタンスにおいて、既存のモデルをどの程度上回るか？
• RQ4 文書に依存するメンション表現とパス推論の貢献度は、全体の性能にどの程度寄与しているか？

主な発見

• GAINは、DocREDベンチマークにおいて、以前の最先端手法よりもF1スコアで2.85向上を達成した。
• 文間関係抽出において、前回の誤りの53.5％が発生したタスクで、ベースラインを著しく上回った。
• GAINは論理的推論タスクにおいて強く性能を発揮し、BiLSTMと比較して推論が重視されるケースで誤差率を21.0％削減した。
• アブレーションスタディにより、異種メンションレベルグラフとパス推論メカニズムの両方が性能向上に不可欠であることが確認された。
• アテンションベースのパス統合を用いたパス推論メカニズムは、ウォークベースの手法を上回り、ハイパーパrameterチューニングの負荷を回避した。
• モデルは、複数の文にまたがる多段階推論により、「Without Me」と「The Eminem Show」が同じパフォーマーと発売日を持つことを正しく推論した。