[論文レビュー] Event Extraction by Answering (Almost) Natural Questions

Xinya Du, Claire Cardie|arXiv (Cornell University)|Apr 28, 2020

Topic Modeling参考文献 37被引用数 24

ひとこと要約

本稿では、事前エンティティ認識を不要とするエンドツーエンドのイベント抽出のための新しい質問応答（QA）フレームワークを提案する。BERTを用いてトリガー検出と引数抽出をQAタスクとして定式化することで、ACE 2005で最先端の性能を達成し、未学習の引数役割に対しても強力なゼロショット一般化を示す。

ABSTRACT

The problem of event extraction requires detecting the event trigger and extracting its corresponding arguments. Existing work in event argument extraction typically relies heavily on entity recognition as a preprocessing/concurrent step, causing the well-known problem of error propagation. To avoid this issue, we introduce a new paradigm for event extraction by formulating it as a question answering (QA) task that extracts the event arguments in an end-to-end manner. Empirical results demonstrate that our framework outperforms prior methods substantially; in addition, it is capable of extracting event arguments for roles not seen at training time (zero-shot learning setting).

研究の動機と目的

• 分離されたエンティティ認識に依存する従来のイベント抽出パイプラインにおける誤差伝搬問題に対処すること。
• 特に低リソースまたはゼロショット設定において、神経ネットワークモデルが意味的に類似した引数役割間で知識を転送する能力に制限を受ける問題を克服すること。
• 自然言語の質問を直接用いてイベントトリガーと引数を一括して抽出する統合的でエンドツーエンドのフレームワークを開発すること。
• トレーニング時に見られなかった引数役割に対してもゼロショットでイベント引数抽出を可能にするために、質問テンプレートによる意味的類似性を活用すること。

提案手法

• 質問を用いてイベントトリガーとそのタイプを特定するように設計された、BERTを用いたQAタスクとしてトリガー検出を定式化する。
• 引数抽出のため、タイプ＋役割、アノテーションガイドラインに基づく、およびルールベースの複数の質問テンプレートを用い、自然かつ文脈に適した質問を生成する。
• 入力テキスト上のスパン予測を用いて、トリガー検出用と引数スパン抽出用の2つのBERTベースのQAモデルを訓練する。
• 推論時に動的しきい値設定を適用し、信頼度が低い引数予測をフィルタリングすることで、精度を向上させる。
• BERTからの文脈を反映した表現を活用し、質問、トリガー、候補となる引数スパンの間の意味的関係を捉える。
• 言語ルールとアノテーションガイドラインの記述を用いて質問テンプレートを設計し、自然さと性能を向上させ、合成的または不自然なクエリに依存しないようにする。

実験結果

リサーチクエスチョン

• RQ1 イベント抽出を、事前トレーニング済みエンティティ認識に依存せずに、質問応答タスクとして効果的に再定式化できるか？
• RQ2 特にアノテーションガイドラインを組み込んだ質問生成戦略が、イベント抽出モデルの性能にどのように影響するか？
• RQ3 QAベースのフレームワークは、トレーニング時に見られなかった引数役割にも一般化可能で、ゼロショットでイベント引数抽出を可能にするか？
• RQ4 従来のニューラルモデルや統合モデルと比較して、QAパラダイムはトリガー検出および引数スパン抽出の性能をどの程度向上させるか？
• RQ5 自然で人間らしい質問を使用することで、イベント抽出タスクにおけるモデルの一般化能力と頑健性にどのような影響を与えるか？

主な発見

• 提案されたQAベースのフレームワークは、ACE 2005のイベント抽出ベンチマークにおいて、トリガー検出および引数抽出の両面で従来の最先端手法を上回る性能を達成した。
• フレームワークは強力なゼロショット一般化を示し、それらの役割に対して微調整なしに、以前に見られなかった引数役割の引数を効果的に抽出できた。
• アノテーションガイドラインの記述を組み込んだ質問テンプレートは、単純またはより合成的なテンプレートよりも優れた性能を示した。
• エンドツーエンドのQAアプローチにより、エンティティ認識による誤差伝搬が排除され、より頑健で正確な引数抽出が実現した。
• 注意深く設計された自然な質問を用いたBERTの使用により、限られたトレーニング例でも意味的に類似した引数役割間で知識を効果的に転送できるようになった。
• 推論時に動的しきい値設定を適用することで、信頼度が低い予測をフィルタリングし、全体のモデル信頼性が向上した。