[論文レビュー] DocRED: A Large-Scale Document-Level Relation Extraction Dataset

Yuan Yao, Deming Ye+8 more|arXiv (Cornell University)|Jun 14, 2019

Topic Modeling参考文献 41被引用数 42

ひとこと要約

DocRED は、Wikipedia と Wikidata からの大規模で人手で注釈された文書レベルの関係抽出データセットと、遠隔監視データを導入し、文書レベルREを文レベル手法を超えるように推進します。既存のモデルが文書スケールの推論で苦戦することを示し、教師あり・弱教師あり設定のベンチマークを提供します。

ABSTRACT

Multiple entities in a document generally exhibit complex inter-sentence relations, and cannot be well handled by existing relation extraction (RE) methods that typically focus on extracting intra-sentence relations for single entity pairs. In order to accelerate the research on document-level RE, we introduce DocRED, a new dataset constructed from Wikipedia and Wikidata with three features: (1) DocRED annotates both named entities and relations, and is the largest human-annotated dataset for document-level RE from plain text; (2) DocRED requires reading multiple sentences in a document to extract entities and infer their relations by synthesizing all information of the document; (3) along with the human-annotated data, we also offer large-scale distantly supervised data, which enables DocRED to be adopted for both supervised and weakly supervised scenarios. In order to verify the challenges of document-level RE, we implement recent state-of-the-art methods for RE and conduct a thorough evaluation of these methods on DocRED. Empirical results show that DocRED is challenging for existing RE methods, which indicates that document-level RE remains an open problem and requires further efforts. Based on the detailed analysis on the experiments, we discuss multiple promising directions for future research.

研究の動機と目的

• Wikipedia/Wikidata からの大規模で手動注釈されたデータセットを提供し、文書レベルの関係抽出を動機づけ、可能にする。
• 最先端モデルにとって文書レベルのREが文レベルのREより大幅に難しいことを示す。
• 多様な学習パラダイムを支援するための教師ありデータと遠隔監視データの両方を提供する。
• 推論の種類、根拠となる証拠、モデルの制限を分析し、今後の研究を導く。
• より有能な文書レベルRE手法の開発を促進するベンチマークとベースラインを提供する。

提案手法

• 英語のWikipediaとWikidata から four-stage human annotation を用いて DocRED を構築する: 遠隔監視候補生成、固有表現とコアリファレンス注釈、エンティティリンク、根拠証拠付きの関係 labeling。
• 多様な領域を跨ぐ 96 種類の関係タイプと 5,053 文書に跨る 132,375 の関係事実を提供する。
• 人手注釈データでfine-tune したBERT を用いて、Wikipedia と Wikidata を整合させ、エンティティを再識別して大規模な遠隔監視データセットを作成する。
• 既存の文レベルREモデルを文書レベルREへ適応させ、教師ありおよび弱教師あり設定で評価する。
• 訓練・開発・テストの重複バイアスを緩和するため、F1 と AUC（Ign F1 / Ign AUC を含む）を用いてモデルの性能を評価する。
• エンティティタイプ、コアリファレンス、距離特徴の影響を理解するためのニューラルおよび特徴量アブレーション分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様な人手注釈データセットで評価した場合、文書レベルREは文レベルREと比較して難易度がどのように異なるか？
• RQ2 既存のREモデルは文書レベルタスクに効果的に適用できるか、またその限界は何か？
• RQ3 遠隔監視データが文書レベルREの性能と信頼性に与える影響は何か？
• RQ4 文書レベルの関係を抽出するためにどのような推論が必要で、モデルをどのように設計すべきか？
• RQ5 抽出された関係の根拠証拠をモデルがどれだけ予測できるか？

主な発見

Model	Dev Ign F1	Dev Ign AUC	Dev F1	Dev AUC	Test Ign F1	Test Ign AUC	Test F1	Test AUC
CNN	41.58	36.85	43.45	39.39	40.33	36.24	42.26	38.91
LSTM	48.44	46.62	50.68	49.48	47.71	46.27	50.07	49.25
BiLSTM	48.87	47.61	50.94	50.26	48.78	47.61	51.06	50.43
Context-Aware	48.94	47.22	51.09	50.17	48.40	46.54	50.70	49.64
CNN (W)	33.24	23.17	42.76	37.99	32.33	21.83	42.00	36.84
LSTM (W)	39.37	22.39	49.92	42.79	38.27	21.74	48.88	41.35
BiLSTM (W)	41.44	23.21	51.72	44.44	39.15	22.14	49.80	42.87
Context-Aware (W)	40.47	22.56	51.39	43.00	39.16	21.58	50.12	41.51

• DocRED は従来のREデータセットより大規模であり、多くの関係で複数文推論を必要とする。
• ほとんどの関係（61.1%）は単純なパターン照合を超える推論を必要とし、論理的推論、コアリファレンス、常識推論が一般的に求められる。
• 人間のパフォーマンスは現在のモデルを大きく上回っており、文書レベルRE に潜在的な大幅な改善余地を示している。
• 文脈的・長距離のエンコーディング（BiLSTM ベースのアーキテクチャ）は一般にCNNより優れているが、明確な優勝者はなく、文間推論の改善が求められる。
• 遠隔監視はデータを拡張するのに役立つがラベルノイズを導入する。人手注釈データで学習したモデルは通常、遠隔監視データで学習したモデルより優れている。
• 関係の根拠証拠を予測することはニューラル予測子で可能で、説明性を高めるが、依然として難しい。