[論文レビュー] Document-level Event-based Extraction Using Generative Template-filling Transformers.

Xinya Du, Alexander M. Rush+1 more|arXiv (Cornell University)|Aug 21, 2020

Topic Modeling参考文献 28被引用数 13

ひとこと要約

本稿では、文境界を越えた文脈をモデル化し、暗黙的に共参照関係を捉え、テンプレート構造を尊重する、文書レベルのイベントベース抽出のための生成的トランスフォーマー基盤のエンコーダデコーダフレームワークを提案する。MUC-4で評価された結果、文脈と暗黙的な言語的知識を活用することで、従来の文単位の手法を上回る最先端の性能を達成した。

ABSTRACT

We revisit the classic information extraction problem of document-level template filling. We argue that sentence-level approaches are ill-suited to the task and introduce a generative transformer-based encoder-decoder framework that is designed to model context at the document level: it can make extraction decisions across sentence boundaries; is \emph{implicitly} aware of noun phrase coreference structure, and has the capacity to respect cross-role dependencies in the template structure. We evaluate our approach on the MUC-4 dataset, and show that our model performs substantially better than prior work. We also show that our modeling choices contribute to model performance, e.g., by implicitly capturing linguistic knowledge such as recognizing coreferent entity mentions. Our code for the evaluation script and models will be open-sourced at https://github.com/xinyadu/doc_event_entity for reproduction purposes.

研究の動機と目的

• 文単位の情報抽出の限界を是正し、文書レベルの文脈を捉えること。
• 文境界を越えた抽出意思決定を可能にする手法を開発すること。
• イベントテンプレート内の名詞句の共参照関係とクロスロール依存関係を暗黙的にモデル化すること。
• 長距離の文脈と構造的認識を活用することで、テンプレート埋め込みのパフォーマンスを向上させること。
• 生成的モデリングが、文書レベルのイベント抽出において従来のシーケンスラベル付けを上回ることを示すこと。

提案手法

• ドキュメントテキストから直接イベントテンプレートを生成する、トランスフォーマー基盤のエンコーダデコーダアーキテクチャを用いる。
• 自己回帰的生成プロセスを活用し、文間およびテンプレート内のロール間の依存関係をモデル化する。
• イベント抽出のための、完全なドキュメント文脈に条件付けられたシーケンス・ツー・シーケンスフレームワークを採用する。
• 明示的な共参照解決モジュールを用いずに、トレーニング中にメンション表現を学習することで、共参照を暗黙的に捉える。
• スロット値を構造的な順序で自己回帰的に生成することで、テンプレート内のクロスロール依存関係をモデル化する。
• 文脈的および構造的パターンを学習できるように、エンド・ツー・エンドでシーケンス生成の目的関数に基づいて訓練する。

実験結果

リサーチクエスチョン

• RQ1 生成的シーケンス・ツー・シーケンスモデルは、従来の文単位の抽出手法を上回り、文書レベルのイベント抽出で優れた性能を発揮できるか？
• RQ2 明示的なモデリングなしで、生成的モデルが共参照解決をどの程度暗黙的に学習できるか？
• RQ3 モデルはイベントテンプレート内のクロスロール依存関係をどの程度効果的に捉えられるか？
• RQ4 文書レベルの文脈をモデル化することで、抽出パフォーマンスが顕著に向上するか？
• RQ5 長距離の文脈と構造的認識は、最終的な結果にどの程度寄与しているか？

主な発見

• 提案手法はMUC-4データセットで最先端のパフォーマンスを達成し、従来の文単位のアプローチを顕著に上回った。
• 明示的な共参照解決コンponentsを必要とせず、モデルが共参照となるエンティティメンションを認識することを暗黙的に学習した。
• 文間の文脈モデリングにより、イベント抽出の正確性が顕著に向上した。
• 生成的フレームワークはテンプレート構造を効果的に尊重し、生成中にクロスロール依存関係を強制した。
• アブレーションスタディーにより、文書レベルの文脈と自己回帰的生成がパフォーマンス向上の主な要因であることが確認された。
• モデルの性能は頑健で汎用的であり、オープンソース化された評価スクリプトおよびモデルを用いた検証により裏付けられた。