[論文レビュー] Document-Level Relation Extraction with Reconstruction

Xu Wang, Kehai Chen+1 more|arXiv (Cornell University)|Dec 21, 2020

Topic Modeling被引用数 7

ひとこと要約

本稿では、異種グラフ内の正例パス依存関係を再構成する再構成器を訓練することで、文書レベルの関係抽出（DocRE）を向上させる再構成ベースの手法を提案する。この手法により、モデルの注目が関連するエンティティペアに集中し、強力なベースライン比でF1スコアが1.7ポイント向上し、推論段階でも再構成器を関係性の指標として活用することで性能が向上する。

ABSTRACT

In document-level relation extraction (DocRE), graph structure is generally used to encode relation information in the input document to classify the relation category between each entity pair, and has greatly advanced the DocRE task over the past several years. However, the learned graph representation universally models relation information between all entity pairs regardless of whether there are relationships between these entity pairs. Thus, those entity pairs without relationships disperse the attention of the encoder-classifier DocRE for ones with relationships, which may further hind the improvement of DocRE. To alleviate this issue, we propose a novel encoder-classifier-reconstructor model for DocRE. The reconstructor manages to reconstruct the ground-truth path dependencies from the graph representation, to ensure that the proposed DocRE model pays more attention to encode entity pairs with relationships in the training. Furthermore, the reconstructor is regarded as a relationship indicator to assist relation classification in the inference, which can further improve the performance of DocRE model. Experimental results on a large-scale DocRE dataset show that the proposed model can significantly improve the accuracy of relation extraction on a strong heterogeneous graph-based baseline.

研究の動機と目的

• すべてのエンティティペアに関係を普遍的に符号化するグラフ表現の問題に対処する。これは、存在しない関係まで含めることで、真の関係への注目が希釈されるためである。
• グラフ表現内の真のパス依存関係を再構成する再構成器を訓練することで、モデルの学習を改善すること。
• 推論段階で再構成器を関係性の指標として使用し、関係分類の精度をさらに向上させること。
• 真のパス依存関係に注目することで、文書レベルの関係抽出における一般化性能と性能が向上することを示すこと。

提案手法

• 入力文書からヒューリスティックルールを用いて異種グラフを構築し、メンション、エンティティ、文をノードとし、5種類のエッジを有する。
• グラフ注意機構（GAT）が異種グラフをエンコードし、エンティティペア間の関係情報をモデル化したグラフ表現を生成する。
• 再構成器はエンティティペア間のパスに沿ったノード表現を生成し、真の関係が存在する場合はパスの確率を最大化し、そうでない場合は最小化する。
• 再構成器はDocREモデルとエンドツーエンドで訓練され、学習段階で実際の関係を持つエンティティペアに注目を向けるように誘導される。
• 推論段階では、再構成器のパススコアを追加信号として用い、関係分類の意思決定を精緻化する。
• 本手法は、強力な異種グラフベースのベースラインを用いて、大規模なDocREDデータセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 文書レベルの関係抽出モデルにおいて、真のパス依存関係を再構成することで、関連するエンティティペアへの注目が向上するか？
• RQ2 再構成器を用いて学習を誘導することで、文書レベルの関係分類性能が向上するか？
• RQ3 推論段階で再構成器を効果的な関係性の指標として使用することで、分類精度が向上するか？
• RQ4 異なるタイプのメタパス（例：MP1, MP2, MP3）を再構成した場合、性能にどのような差が生じるか？
• RQ5 複数のメタパスを再構成する場合と単一パスを再構成する場合とで、モデル性能にどのような影響があるか？

主な発見

• 提案手法は、大規模なDocREDデータセットにおいて、強力な異種グラフベースのベースライン比でF1スコアが1.7ポイント向上した。
• すべての3つのメタパス（MP1, MP2, MP3）を再構成した場合、開発セットで最高のF1スコア55.66、テストセットで54.91を達成した。
• アブレーションスタディの結果、複数のメタパスを再構成する方が単一パス再構成を上回り、特にMP3（エンティティ-メンション-文-エンティティ）が最も寄与していた（54.46%のパス）。
• 事例スタディでは、ベースラインモデルが誤分類した例を+Reconstructionモデルが是正した。例えば、{Lark Force, Australia}の関係「P17」を正しく分類した。
• 再構成器により、曖昧な予測が解消され、パススコアを考慮することで、{Rabaul, Australia}に対して「NA」を正しく分類した。
• 最近の最先端モデルであるLSRモデルを上回る性能を示し、再構成ベースの学習戦略の有効性を確認した。