[論文レビュー] Chinese Event Extraction Using DeepNeural Network with Word Embedding

Yandi Xia, Yang Liu|arXiv (Cornell University)|Oct 4, 2016

Natural Language Processing Techniques被引用数 3

ひとこと要約

本稿では、手作業による特徴工学を不要とする、中国語イベントトリガー識別を目的とした深層ニューラルネットワーク（DNN）モデルを提案する。大規模なラベルなしテキストを用いて事前学習された単語埋め込みを活用することで、特に再現率において優れた性能を達成し、従来の特徴ベースのシステムを上回る。これは、自動的に生成された固有語認識を用いても同様に成立する。

ABSTRACT

A lot of prior work on event extraction has exploited a variety of features to represent events. Such methods have several drawbacks: 1) the features are often specific for a particular domain and do not generalize well; 2) the features are derived from various linguistic analyses and are error-prone; and 3) some features may be expensive and require domain expert. In this paper, we develop a Chinese event extraction system that uses word embedding vectors to represent language, and deep neural networks to learn the abstract feature representation in order to greatly reduce the effort of feature engineering. In addition, in this framework, we leverage large amount of unlabeled data, which can address the problem of limited labeled corpus for this task. Our experiments show that our proposed method performs better compared to the system using rich language features, and using unlabeled data benefits the word embeddings. This study suggests the potential of DNN and word embedding for the event extraction task.

研究の動機と目的

• 深層ニューラルネットワークと単語埋め込みが、中国語イベントトリガー識別において、手作業による言語的特徴の依存度を低下させられるかどうかを調査すること。
• このタスクにおいて、従来のドメイン特化型特徴と比較して、単語埋め込みがより効果的な表現を提供するかどうかを評価すること。
• 大量のラベルなしデータを用いた事前学習が、リソースが限られたイベント抽出状況におけるモデル性能にどの程度寄与するかを検討すること。

提案手法

• モデルは、品詞タグ、構文解析構造、固有語認識などの手作業で設計された言語的特徴を置き換えるために、文字レベルの単語埋め込みを入力特徴として使用する。
• バックプロパゲーションと確率的勾配降下法を用いて、エンドツーエンドで深層ニューラルネットワークを学習させ、入力文字の抽象的かつ分散表現を学習する。
• ラベル付きイベント抽出タスクのファインチューニングの前に、10万件のラベルなし中国語ニューズ記事文書を用いて、RNNベースのskip-gram word2vecフレームワークで単語埋め込みを事前学習する。
• 最終的な予測にはハイブリッドデコーディング戦略を採用する。DNNの出力を発生確率として扱い、CRFモデルからの遷移確率と組み合わせることで、系列ラベリングの精度を向上させる。
• システムは、効率的な計算とバックプロパゲーションを可能にするPythonベースのディープラーニングフレームワークTheanoを用いて実装されている。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークと単語埋め込みを用いることで、中国語イベントトリガー識別における手作業による特徴工学を効果的に代替できるか？
• RQ2 このタスクにおいて、従来の言語的特徴と比較して、単語埋め込みがより頑健で汎用性の高い表現を提供するか？
• RQ3 大規模なラベルなしデータを用いた事前学習が、リソースが限られたイベント抽出において、性能にどの程度寄与するか？

主な発見

• 単語埋め込みを用いたDNNモデルはF1スコア64.29を達成し、自動的に生成された固有語認識を用いた最良のベースラインME分類器（F1: 61.44）を顕著に上回った。
• ラベルなしデータを用いた事前学習により、DNNのF1スコアは非事前学習バージョン（58.06から64.29）と比較して12.92ポイント向上し、教師なし事前学習の価値を示した。
• モデルは最良のベースライン（52.17%）よりも高い再現率（61.14%）を達成し、単語埋め込みが意味的類似性を効果的に捉えており、未知語やレアなトリガー語の識別に寄与していることが示された。
• 最適な単語埋め込み次元は約100であった。これは、小さい次元では表現能力が不足し、大きい次元では過学習が生じて一般化性能が低下するためである。
• ゴールドスタンダードの固有語認識を一切使用しなくても、DNNモデルは、真値NERに依存するME分類器を上回った。これは、埋め込みベースのアプローチの頑健性を示している。