[論文レビュー] Entity and Evidence Guided Relation Extraction for DocRED

Kevin Huang, Guangtao Wang+2 more|arXiv (Cornell University)|Aug 27, 2020

Topic Modeling参考文献 30被引用数 8

ひとこと要約

本稿では、文書レベルの関係抽出のための統合フレームワークE2GREを提案する。E2GREは、エンティティガイドド入力シーケンスとアテンションベースの証拠監督を用いて、事前学習された言語モデル（例：BERT）を強化する。各エンティティを文書に追加し、内部アテンション確率を用いて証拠を予測することで、関係抽出と証拠の局所化の両方を向上させ、DocREDベンチマークにおいてすべての指標で最先端の性能を達成した。

ABSTRACT

Document-level relation extraction is a challenging task which requires reasoning over multiple sentences in order to predict relations in a document. In this paper, we pro-pose a joint training frameworkE2GRE(Entity and Evidence Guided Relation Extraction)for this task. First, we introduce entity-guided sequences as inputs to a pre-trained language model (e.g. BERT, RoBERTa). These entity-guided sequences help a pre-trained language model (LM) to focus on areas of the document related to the entity. Secondly, we guide the fine-tuning of the pre-trained language model by using its internal attention probabilities as additional features for evidence prediction.Our new approach encourages the pre-trained language model to focus on the entities and supporting/evidence sentences. We evaluate our E2GRE approach on DocRED, a recently released large-scale dataset for relation extraction. Our approach is able to achieve state-of-the-art results on the public leaderboard across all metrics, showing that our E2GRE is both effective and synergistic on relation extraction and evidence prediction.

研究の動機と目的

• 関係が複数文にまたがり、長距離の推論を要する文書レベルの関係抽出の課題に対処すること。
• 長文における均一なアテンションにより、事前学習された言語モデル（PLM）が関連するエンティティや証拠文に注目できないという制限を克服すること。
• エンティティおよびアテンションガイドド監督を用いた共同学習により、関係抽出と証拠予測の両方の性能を向上させること。
• 関係抽出の説明可能性を高めるために、明示的に支援証拠文を特定すること。

提案手法

• 各文書に対して、名前付きエンティティを文書の先頭に連結することで、N_e個のエンティティガイドド入力シーケンスを生成し、微調整時にPLMがエンティティ固有の文脈に注目できるようにする。
• BERTの最後のl層からの内部アテンション確率を、証拠予測をガイドする追加の特徴として使用し、モデルが関連する支援文を特定する能力を強化する。
• エンティティガイドドシーケンスとアテンションベースの特徴を用いて、関係抽出と証拠予測の共同モデルを訓練し、マルチタスク学習を可能にする。
• アテンションメカニズムを活用して、ヘッドエンティティとテールエンティティだけでなく、文間の関係的情報をつなぐブリッジフレーズや証拠文を強調する。
• 関係予測と証拠文特定の両方をバランスさせる共同目的関数を用いて、モデルをエンドツーエンドで最適化する。
• アブレーションスタディを用いて、エンティティガイドドとアテンションベースの証拠監督の貢献を分析し、アテンション特徴抽出に使用するBERT層の数の影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 エンティティガイドド入力シーケンスは、関連するエンティティに注目させることで、事前学習された言語モデルの文書レベルの関係抽出性能を向上させることができるか？
• RQ2 BERTの層からの内部アテンション確率を監督信号として用いることで、証拠文予測が向上し、結果として関係抽出性能が向上するか？
• RQ3 関係抽出と証拠予測の共同学習は、文書レベルのREにおける全体的なモデル性能にどのように影響するか？
• RQ4 証拠予測のためのアテンション特徴を抽出するのに最適なBERT層の数は何か？
• RQ5 E2GREは、支援証拠文を特定することで、どの程度説明可能性を向上させるか？

主な発見

• E2GREは、DocREDの検証セットにおいて関係抽出のF1スコアを58.72%に達成し、BERT+Joint Trainingベースラインを4.18ポイント上回った。
• エンティティガイドドコンponentのみで、ベースライン比でF1が2.5ポイント向上し、モデルが関連するエンティティに注目する有効性が示された。
• 証拠ガイドド学習を追加することで、F1がさらに1.7ポイント向上し、アテンションベースの監督が証拠予測と関係抽出の両方を向上させることを示した。
• 証拠予測のF1は、ベースラインの42.49%からE2GREでは47.14%に向上し、正しい支援文を特定することで説明可能性が向上したことを示した。
• 6層のアテンション確率を使用した場合のF1（46.90）は3層（47.12）よりわずかに低いが、性能向上は限定的であり、中間層が最も情報を含んでいる可能性を示唆した。
• 可視化結果から、E2GREが証拠文やブリッジフレーズ（例：'protagonist' や 'involves'）に高いアテンション重みを割り当てていることが確認された。