[論文レビュー] Coarse-to-Fine Entity Representations for Document-level Relation Extraction

Damai Dai, Jing Ren+3 more|arXiv (Cornell University)|Dec 4, 2020

Topic Modeling参考文献 45被引用数 4

ひとこと要約

本稿では、文書レベルの関係抽出のための粗大から細分化へのエンティティ表現モデルCFERを提案する。まず、密接接続グラフ畳み込みネットワーク（DCGCN）を用いてグローバルな文脈情報を捉え、その後、アテンション誘導パス符号化を用いて長距離エンティティ相互作用をモデル化する。この手法は、DocREDおよびCDRで最先端の性能を達成し、ラベルの不均衡に対して頑健であり、文間関係のモデリングが優れている。

ABSTRACT

Document-level Relation Extraction (RE) requires extracting relations expressed within and across sentences. Recent works show that graph-based methods, usually constructing a document-level graph that captures document-aware interactions, can obtain useful entity representations thus helping tackle document-level RE. These methods either focus more on the entire graph, or pay more attention to a part of the graph, e.g., paths between the target entity pair. However, we find that document-level RE may benefit from focusing on both of them simultaneously. Therefore, to obtain more comprehensive entity representations, we propose the Coarse-to-Fine Entity Representation model (CFER) that adopts a coarse-to-fine strategy involving two phases. First, CFER uses graph neural networks to integrate global information in the entire graph at a coarse level. Next, CFER utilizes the global information as a guidance to selectively aggregate path information between the target entity pair at a fine level. In classification, we combine the entity representations from both two levels into more comprehensive representations for relation extraction. Experimental results on two document-level RE datasets, DocRED and CDR, show that CFER outperforms existing models and is robust to the uneven label distribution.

研究の動機と目的

• 既存のグラフベースのモデルが文書レベルの関係抽出において抱える限界、すなわちグローバル構造に過剰に重きを置くか、あるいは局所的パスに過剰に依存する問題に対処すること。
• 文書内の標的エンティティ間の長距離相互作用を、同時にグローバルな文脈情報と捉えること。
• 複雑な文間関係を有する長文における関係抽出の性能を向上させること。
• とりわけ、長尾関係において顕著な不均衡なラベル分布に対して、より頑健な性能を発揮すること。
• グローバルおよび詳細なパスレベル表現を効果的に統合する包括的なフレームワークの構築。

提案手法

• 文法的依存関係、隣接語、文間接続、共参照リンク、自己ループの5種類のエッジタイプを持つ文書レベルのグラフを構築する。
• 粗大段階で、全グラフにわたるグローバルな文脈情報を集約するために、密接接続グラフ畳み込みネットワーク（DCGCN）を適用する。
• 細分化段階で、粗大段階の表現によって誘導されるアテンションベースのパス符号化機構を用い、標的エンティティペア間のパス情報を選択的に集約する。
• 粗大段階のグローバル表現と細分化段階のパスに依存する表現を統合し、関係分類のための包括的なエンティティ埋め込みを生成する。
• 関係予測の交差エントロピー損失を用いて、アテンション重みが情報量の多いパスに焦点を当てるように、エンドツーエンドでモデルを学習する。
• 最終分類器の前段で、両段階の表現を連結または要素ごとの組み合わせによって統合する。

実験結果

リサーチクエスチョン

• RQ1 グローバルなグラフレベルの文脈と標的パスレベルの情報を統合することで、文書レベルの関係抽出が向上するか？
• RQ2 一括段階のアプローチと比較して、粗大から細分化の戦略が長距離エンティティ相互作用のモデリングをどのように向上させるか？
• RQ3 特に長尾関係において、ラベルの不均衡に対して本手法はどのように性能を発揮するか？
• RQ4 粗大段階の表現が、最適でないアテンション割り当てを回避するために、細分化段階のパス集約を効果的に誘導できるか？
• RQ5 標準ベンチマークにおいて、既存のグラフベースおよび非グラフベースのベースラインと比較して、本手法はどの程度優れた性能を示すか？

主な発見

• CFERは、DocREDの開発セットでF1スコア56.40を達成し、すべてのアブレーション変種および既存モデルを上回った。
• アブレーションスタディの結果、粗大段階のDCGCNブロックを削除するとF1スコアが2.08ポイント低下し、その重要性が示された。
• 細分化段階の表現を含めることで、マイクロ-F1が4.12ポイント向上した。これは、長距離関係を捉える上でその価値が確認されたことを示している。
• 長尾関係（距離[8, ∞)）において、CFERは特に高い性能向上を示し、マイクロ-F1が61.5に達した。これは、ラベルの不均衡に対する頑健性を示している。
• 事例スタディでは、CFER（フル）は複数の有用なパスにバランスの取れたアテンション重みを学習している一方、アブレーションモデルはグローバルな誘導が欠落しているため、最適でないパスに過剰に注目していた。
• 本手法は、P140関係のような文間推論を要する関係的事実を効果的に抽出でき、これは唯一フルモデルが回復できた事例である。