[論文レビュー] Rapid Customization for Event Extraction

Yee Seng Chan, Joshua Fasching+2 more|arXiv (Cornell University)|Sep 20, 2018

Topic Modeling参考文献 12被引用数 4

ひとこと要約

本稿では、1つのイベントタイプあたり10分未塔の人的作業で、新規イベントタイプに迅速にカスタマイズ可能な最小限の監視付きシステムを提示する。単語埋め込みとWordNetを用いて初期のトリガーを拡張し、遠隔監視を適用して自動的にラベル付けされた訓練例を生成し、ACEアノテーション済みの引数を活用して汎用性の高い引数抽出器を訓練する。67の新規イベントタイプにおいて、人的介入を最小限に抑えつつ優れた性能を達成した。

ABSTRACT

We present a system for rapidly customizing event extraction capability to find new event types and their arguments. The system allows a user to find, expand and filter event triggers for a new event type by exploring an unannotated corpus. The system will then automatically generate mention-level event annotation automatically, and train a Neural Network model for finding the corresponding event. Additionally, the system uses the ACE corpus to train an argument model for extracting Actor, Place, and Time arguments for any event types, including ones not seen in its training data. Experiments show that with less than 10 minutes of human effort per event type, the system achieves good performance for 67 novel event types. The code, documentation, and a demonstration video will be released as open source on github.com.

研究の動機と目的

• イベント抽出システムを新規イベントタイプに拡張するために必要な人的労働を削減すること。
• 最小限の人的入力と自動的なトリガー拡張を用いて、イベント抽出器を迅速にカスタマイズできること。
• 既存のACEアノテーションを活用して、トレーニングデータに存在しない新規イベントタイプに対しても通用する汎用性の高い引数抽出モデルを訓練すること。
• 新規イベントタイプのためのトリガー選択とフィルタリングを加速するユーザインタフェースを開発すること。
• 67の以前に存在しなかったイベントタイプの大きなセットに対して、本システムの実用的価値を示すこと。

提案手法

• ユーザーが新規イベントタイプの初期トリガー語を数個提供する。
• システムは単語埋め込み（高いコサイン類似度）とWordNet（下位種）を用いてこれらのトリガーを拡張する。
• ユーザーによるフィルタリングにより、関連する語のみを残して最終的なトリガー集合を形成する。
• 未アノテートのコーパスに対して遠隔監視を適用し、イベントトリガー用の訓練例を自動的に生成する。
• 畳み込みニューラルネットワーク（CNN）を、自動的に生成されたトリガー例で訓練してイベント検出を行う。
• 別個の引数モデルをACEアノテーション済みデータで訓練し、任意のイベントタイプ（未確認のものも含む）のアクター、場所、時間の引数を抽出する。

実験結果

リサーチクエスチョン

• RQ1 新規イベントタイプに向けたイベント抽出を、人的アノテーションを最小限に抑えて迅速にカスタマイズ可能か？
• RQ2 単語埋め込みとWordNetによるトリガー拡張は、カバレッジと正確性の向上にどの程度効果的か？
• RQ3 ACEデータで訓練されたモデルは、ACEトレーニングデータに存在しないイベントタイプの引数を抽出するのに一般化可能か？
• RQ4 遠隔監視と人的なプルーニングを組み合わせることで、トリガー検出性能がどの程度向上するか？
• RQ5 ユーザインタフェースは、カスタマイズパイプラインにおける時間と労力の削減にどの程度貢献するか？

主な発見

• 1つのイベントタイプあたり10分未塔の人的作業で、67の新規イベントタイプにおいて優れた性能を達成した。
• 人的プルーニングを施した遠隔監視で訓練されたトリガーモデル（T_h）は、遠隔監視のみで訓練されたモデル（T_d）を上回り、プルーニングが一般化性能を向上させることを示した。
• 引数モデル（A_n）は、ゴールトリガーを用いて同じデータで訓練されたモデルとほぼ同等のF1スコアを達成し、未確認のイベントタイプへの一般化能力が強いことを示した。
• 人的検証済みの100件のテスト引数（62件のアクター、7件の場所、10件の時間）において、精度が0.79に達し、引数抽出部の高い信頼性を確認した。
• ACEトレーニングデータに存在しないイベントタイプに対しても、システムの性能が安定しており、引数モデルの転送可能性が裏付けられた。
• ユーザインタフェースにより、複数のイベントタイプにまたがるトリガーのインタラクティブなフィルタリングと再割り当てが可能となり、時間効率が著しく向上した。