[論文レビュー] Global-to-Local Neural Networks for Document-Level Relation Extraction

Difeng Wang, Wei Hu+2 more|arXiv (Cornell University)|Sep 22, 2020

Topic Modeling参考文献 40被引用数 6

ひとこと要約

本稿では、文書レベルの関係抽出のためのグローバルからローカルへのニューラルネットワークであるGLREを提案する。GLREは、異種グラフ上のR-GCNを用いたエンティティのグローバル表現（文書全体の意味的相互作用を捉える）、同じエンティティの表記のマルチヘッドアテンションによるローカル表現（文脈情報を集約）、および他の関係の自己アテンションによる文脈関係表現（トピックレベルの文脈を符号化）を統合する。このモデルは、特に長距離関係および複数表記関係において、最先端の性能を達成しており、CDRおよびDocREDの両データセットで先行手法を上回っている。

ABSTRACT

Relation extraction (RE) aims to identify the semantic relations between named entities in text. Recent years have witnessed it raised to the document level, which requires complex reasoning with entities and mentions throughout an entire document. In this paper, we propose a novel model to document-level RE, by encoding the document information in terms of entity global and local representations as well as context relation representations. Entity global representations model the semantic information of all entities in the document, entity local representations aggregate the contextual information of multiple mentions of specific entities, and context relation representations encode the topic information of other relations. Experimental results demonstrate that our model achieves superior performance on two public datasets for document-level RE. It is particularly effective in extracting relations between entities of long distance and having multiple mentions.

研究の動機と目的

• 長距離および複数表記の複雑な推論を扱う能力に制限を受ける既存の文書レベル関係抽出モデルの課題を解決すること。
• グローバルな文書意味論、細粒度のエンティティ文脈、トピックレベルの関係文脈を統合的にモデル化することで、関係抽出を改善すること。
• 従来のグラフベースのモデルで、文書全体の情報を無差別に統合することによるノイズを克服すること。
• 粗粒度と細粒度のエンティティ表現を、文脈関係信号とともに統合する統一フレームワークを構築すること。

提案手法

• モデルは、文書内の表記、エンティティ、文をヒューリスティックルールを用いてリンクすることで、異種グラフを構築する。
• エンティティのグローバル表現は、異種グラフ上でR-GCNを用いて学習され、文書全体の意味的相互作用を捉える。
• 同じエンティティの複数の表記に対してマルチヘッドアテンションを適用することで、エンティティのローカル表現を生成し、文脈情報を集約する。
• 文書内の他のすべての関係に対して自己アテンションを用いることで、文脈関係表現をモデル化し、トピックレベルの文脈を符号化する。
• 最終的な関係予測は、分類ヘッドを用いてグローバル表現、ローカル表現、文脈関係表現を統合することで行う。
• モデルは初期トークン表現として事前学習済みBERTを活用し、CDRおよびDocREDデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 グローバルからローカルへの表現学習フレームワークは、特に長距離および複数表記関係において、文書レベル関係抽出を改善できるか？
• RQ2 異種グラフ上でR-GCNを用いることで、エンティティおよび文の間で複雑な意味的相互作用をどれほど的確にモデル化できるか？
• RQ3 自己アテンションによる文脈関係表現の統合は、関係予測の正確性をどの程度向上させるか？
• RQ4 グローバル表現とローカル表現を統合するアプローチは、単一の表現レベルのみを用いるモデルと比較して、どの程度優れているか？
• RQ5 事前学習言語モデル（例：BERT、XLNet）は、提案されたGLREフレームワークの性能にどのような影響を与えるか？

主な発見

• GLREは、CDRおよびDocREDの両データセットで最先端の性能を達成した。BERT-Baseを用いた場合、CDRではF1スコア68.5、DocREDではF1スコア58.9を記録した。
• DocREDデータセットでは、XLNet-Largeを用いることで、'train + dev'設定下でIgn F1スコアが58.5、F1スコアが60.5に向上した。
• モデルは、長距離スパンを有するエンティティ間の関係抽出において特に優れた性能を示し、この設定で先行モデルを上回った。
• 誤差分析の結果、40.9%の失敗はブリッジエンティティを含む論理的推論エラーに起因しており、複雑な推論の分野での改善の余地があることが示された。
• 構成要因欠落エラー（28.8%）およびコアファレンス推論エラー（12.9%）も顕著であり、不完全または曖昧な文構造の課題が浮き彫りになった。
• 事前知識の欠如が影響を与える事例（例：ケース3）では、正しく設計されたアーキテクチャであったにもかかわらず関係が見逃されたことから、モデルの性能は事前知識に敏感であることが明らかになった。