[論文レビュー] Entity, Relation, and Event Extraction with Contextualized Span Representations

David Wadden, Ulme Wennberg+2 more|arXiv (Cornell University)|Sep 8, 2019

Topic Modeling被引用数 14

ひとこと要約

本論文では、文脈化されたスパン表現を用いたエンドツーエンドのエンティティ、関係、イベント抽出のための統合的でマルチタスクなフレームワーク、DyGIE++ を提案する。BERTに基づく文脈表現と、特に共参照リンクを通じた動的スパングラフ伝搬を組み合わせることで、4つの多様なデータセットで最先端の性能を達成し、局所的および長距離の文間依存関係を効果的にモデル化することで、最大27.9%の誤差低減を実現した。

ABSTRACT

We examine the capabilities of a unified, multi-task framework for three information extraction tasks: named entity recognition, relation extraction, and event extraction. Our framework (called DyGIE++) accomplishes all tasks by enumerating, refining, and scoring text spans designed to capture local (within-sentence) and global (cross-sentence) context. Our framework achieves state-of-the-art results across all tasks, on four datasets from a variety of domains. We perform experiments comparing different techniques to construct span representations. Contextualized embeddings like BERT perform well at capturing relationships among entities in the same or adjacent sentences, while dynamic span graph updates model long-range cross-sentence relationships. For instance, propagating span representations via predicted coreference links can enable the model to disambiguate challenging entity mentions. Our code is publicly available at https://github.com/dwadden/dygiepp and can be easily adapted for new tasks or datasets.

研究の動機と目的

• 名前付きエンティティ認識、関係抽出、イベント抽出を共同で行う統合的でマルチタスクなフレームワークの開発。
• スパン表現を通じて局所的（文内）およびグローバル（文間）な文脈を統合することで、情報抽出の性能を向上させること。
• 文脈化された埋め込み（例：BERT）およびスパングラフ上の動的メッセージ伝搬が、多様なIEタスクのパフォーマンスに与える影響を調査すること。
• 科学的文献などの専門分野において、ドメイン内事前学習（例：SciBERT）が性能に与える影響を評価すること。
• 共参照伝搬がエンティティタイプの誤分類を是正する仕組みと、スパン表現の精錬に与える影響を分析すること。

提案手法

• 複数の文を含む文脈を提供するために、BERTに複数の文をスライディングウィンドウで入力するアプローチを採用し、トークン表現のマルチ文文脈化を実現する。
• 各ドキュメント内に存在するすべての可能なスパン（最大長まで）を、候補となるエンティティ、関係、イベントトリガーとして列挙する。
• BERTでエンコードされたトークン表現と学習されたスパン幅埋め込みを連結することで、スパン表現を構築する。
• エッジが予測された関係（例：共参照、文法的、タスク固有のリンク）を表すスパングラフ上で動的グラフ伝搬を適用し、スパン表現を反復的に更新する。
• 3種類のグラフ伝搬バリエーションを採用：共参照ベース（CorefProp）、文法的（SyntacticProp）、関係ベース（RelProp）、それぞれにアテンション機構を用いて隣接ノードの寄与度を重みづけする。
• エンティティ分類、関係分類、イベントトリガー検出、引数役割ラベル付けの各スコアリングヘッドを別々に設け、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 共有のスパン表現を用いて、名前付きエンティティ認識、関係抽出、イベント抽出を統合的かつ同時に最適化できるか？
• RQ2 BERT などの文脈化された埋め込みは、情報抽出タスクに必要な文間依存関係をどれほど効果的に捉えられるか？
• RQ3 BERT単体に比べ、スパングラフ上で動的メッセージ伝搬を適用することで、特に長距離や複雑な依存関係の状況でどれほど性能が向上するか？
• RQ4 ドメイン内事前学習（例：SciBERT）は、科学的文献などの専門分野での性能にどのように影響を与えるか？
• RQ5 共参照伝搬は、誤って分類されたエンティティ表記をどのように是正し、スパン表現の精錬にどのように寄与するか？

主な発見

• DyGIE++ は、4つの多様なデータセットで、名前付きエンティティ認識、関係抽出、イベント抽出の3つのタスクすべてにおいて最先端の性能を達成し、相対誤差低減率は0.2%から27.9%まで変動した。
• BERTベースの文脈化は、単一文を超える有効な文脈窓を拡大することで、性能を顕著に向上させた。特に複数の文をスライディングウィンドウで処理することで顕著だった。
• 共参照リンクによるグラフ伝搬（CorefProp）により、『方法』から『その他の科学用語』への過剰に具体的なエンティティ予測を、前件となる表記から情報を伝搬させることで是正できるようになった。
• 是正事例の68%において、最も影響力の大きかった共参照更新が、異なる文に存在する名前付きエンティティから発生しており、文間情報伝達の有効性を示している。
• BERTとLSTM層を組み合わせたグラフ伝搬により、わずか1500万パラメータで優れた性能が得られ、フルBERT微調整に比べてメモリ効率が高く、ハイパーパramータチューニングにもあまり依存しなくなった。
• SciBERTを用いたドメイン内事前学習は、科学的データセットで顕著な性能向上をもたらした（例：SciERCで+2.2 F1、GENIAで+1.1 F1）、ドメイン適応型事前学習の価値を裏付けた。