[論文レビュー] Reasoning with Latent Structure Refinement for Document-Level Relation Extraction

Guoshun Nan, Zhijiang Guo+2 more|arXiv (Cornell University)|May 13, 2020

Topic Modeling参考文献 63被引用数 28

ひとこと要約

本稿では、文書レベルの関係抽出のための潜在的構造精錬（LSR）モデルを提案する。このモデルは、反復的精錬を用いてマルチホップ推論を向上させるエンドツーエンドの方法で、タスク固有の文書レベルグラフを動的に学習する。モデルは最先端の性能を達成し、DocREDデータセットではF1スコア59.05を記録し、CDRおよびGDAデータセットでも新たな最先端結果を達成した。これは、学習された潜在的構造を通じて非局所的依存関係を効果的に捉えているためである。

ABSTRACT

Document-level relation extraction requires integrating information within and across multiple sentences of a document and capturing complex interactions between inter-sentence entities. However, effective aggregation of relevant information in the document remains a challenging research question. Existing approaches construct static document-level graphs based on syntactic trees, co-references or heuristics from the unstructured text to model the dependencies. Unlike previous methods that may not be able to capture rich non-local interactions for inference, we propose a novel model that empowers the relational reasoning across sentences by automatically inducing the latent document-level graph. We further develop a refinement strategy, which enables the model to incrementally aggregate relevant information for multi-hop reasoning. Specifically, our model achieves an F1 score of 59.05 on a large-scale document-level dataset (DocRED), significantly improving over the previous results, and also yields new state-of-the-art results on the CDR and GDA dataset. Furthermore, extensive analyses show that the model is able to discover more accurate inter-sentence relations.

研究の動機と目的

• 文書レベルの関係抽出において、複数の文をまたがる情報統合の課題に対処すること。ここには、複雑なマルチホップ推論が求められる。
• 従来の方法が静的でルールベース、またはヒューリスティックに構築された文書レベルのグラフに依存している点を克服すること。これらの方法は最適な構造的依存関係を捉えていない可能性がある。
• エンティティ間の非局所的相互作用を反映する動的でエンドツーエンドの文書レベルグラフ構造の学習を可能にすること。これにより、関係推論が向上する。
• 推論中に反復的に潜在的構造を精錬することで、文書内の長距離依存関係にわたる情報集約を強化すること。

提案手法

• モデルはノードコンストラクタを用い、平均プーリングにより、メンチョンの文脈的表現、メタ依存パス、エンティティノードを生成する。
• マトリックスツリー定理の変種を用いた構造的アテンションを採用し、タスク固有の依存構造を潜在変数として誘導する。
• 反復的精錬戦略により、複数の推論ステップにわたり潜在グラフ構造を動的に更新し、段階的かつ情報の集約を実現する。
• 動的リーダーは誘導されたグラフ上でメッセージパッシングを実行し、エンティティおよび文間をまたがる表現の伝搬を実現する。
• 分類ヘッドは、動的リーダーから得られた精錬済み表現に基づき、エンティティペア間の関係を予測する。
• 全モデルは微分可能な目的関数を用いてエンドツーエンドで訓練され、関係予測の正確性を最適化する。

実験結果

リサーチクエスチョン

• RQ1 潜在的でエンドツーエンドに学習された文書レベルグラフは、静的でヒューリスティックに構築されたグラフを上回る性能を示すか？
• RQ2 潜在的グラフ構造の反復的精錬は、長距離依存関係におけるマルチホップ推論性能を向上させるか？
• RQ3 外部のパーサーや共参照解決に依存せずに、より正確な文間関係を同定できるか？
• RQ4 従来のGNNベースやルールベースのアプローチと比較して、モデルの非局所的依存関係の誘導能力はどのように差異を示すか？

主な発見

• LSRモデルは大規模なDocREDデータセットでF1スコア59.05を達成し、以前の最先端手法を顕著に上回った。
• CDRおよびGDAデータセットでも、モデルは新たな最先端結果を樹立し、バイオメディカル分野における文書レベル関係抽出ベンチマークへの汎用性を示した。
• 定性的分析の結果、LSRはマルチホップ推論を要する欠落した関係を正しく推論できており、例えば「ユリア・チモシェンコはウクライナ人である」という中間エンティティを介した推論を成功させた。
• アテンション可視化の結果、AGGCNと比較してLSRはより焦点的で情報量の多いアテンションパターンを学習していることが示された。AGGCNはより均等で、識別性に欠けるアテンションスコアを示していた。
• 誤った関係の抑制能力が向上しており、例として「ニューオランズ、第二次世界大戦」のエンティティペアに対する誤検出（偽陽性）を回避できた。
• アブレーションスタディの結果、反復的精錬機構が特に複雑な推論シナリオにおいて顕著な性能向上に寄与していることが確認された。