[論文レビュー] Boosting Named Entity Recognition with Neural Character Embeddings

Cícero Nogueira dos Santos, Victor Guimarães|arXiv (Cornell University)|May 19, 2015

Topic Modeling被引用数 7

ひとこと要約

本稿では、順序付き分類のための単語レベルおよび文字レベルの埋め込みを共同で学習する深層ニューラルネットワークであるCharWNNを用いた、言語に依存しない名前付きエンティティ抽出（NER）システムを提案する。手動特徴量を一切用いずに、HAREM I（ポルトガル語）コーパスでは77.93、SPA CoNLL-2002（スペイン語）コーパスでは82.21のF1スコアを達成し、それぞれの総合的および選択的状況で、先行システムより7.9点および7.2点高い結果を示した。

ABSTRACT

Most state-of-the-art named entity recognition (NER) systems rely on handcrafted features and on the output of other NLP tasks such as part-of-speech (POS) tagging and text chunking. In this work we propose a language-independent NER system that uses automatically learned features only. Our approach is based on the CharWNN deep neural network, which uses word-level and character-level representations (embeddings) to perform sequential classification. We perform an extensive number of experiments using two annotated corpora in two different languages: HAREM I corpus, which contains texts in Portuguese; and the SPA CoNLL-2002 corpus, which contains texts in Spanish. Our experimental results shade light on the contribution of neural character embeddings for NER. Moreover, we demonstrate that the same neural network which has been successfully applied to POS tagging can also achieve state-of-the-art results for language-independet NER, using the same hyperparameters, and without any handcrafted features. For the HAREM I corpus, CharWNN outperforms the state-of-the-art system by 7.9 points in the F1-score for the total scenario (ten NE classes), and by 7.2 points in the F1 for the selective scenario (five NE classes).

研究の動機と目的

• 自動的に学習された特徴量にのみ依存する言語に依存しないNERシステムの開発。
• ニューラル文字埋め込みがNER性能に与える寄与度の調査。
• 以前は品詞タグ付けに用いられていた同一の深層ニューラルネットワークアーキテクチャが、同じハイパーパrameterを用いても最先端のNER性能を達成できるかどうかの評価。
• 単語埋め込みの教師なし事前学習が、低リソースおよび高リソースコーパスにおけるNER性能に与える影響の評価。
• 一般化能力を検証するため、ポルトガル語（HAREM I）とスペイン語（SPA CoNLL-2002）という2つの異なる言語におけるモデル性能の比較。

提案手法

• CharWNNモデルは、ターゲット単語を中心とする固定ウィンドウ内の単語を処理する深層ニューラルネットワークを用い、順序付き分類を実行する。
• 単語レベルの埋め込みはルックアップテーブルを介して学習され、文法的および意味的情報を捉える。一方、文字レベルの埋め込みは、文字列を入力として受ける畳み込み層によって抽出される。
• 文字レベルの表現は、文字埋め込みに畳み込み層を適用し、最大プーリング処理を施すことによって得られる。これにより、語の長さに関係なく固定長のベクトルが生成される。
• ネットワークへの最終入力は、単語レベルと文字レベルの埋め込みの連結であり、各単語の複合表現を形成する。
• モデルは、最も確率の高い名前付きエンティティタグの系列を復号するために、Viterbiアルゴリズムを用いた構造的予測アプローチを採用する。
• 一般化性能の向上、特に低リソース設定における性能向上を目的として、大規模な未ラベルテキストを用いた単語埋め込みの教師なし事前学習を適用する。

実験結果

リサーチクエスチョン

• RQ1 単語レベルの埋め込みのみと比較して、ニューラル文字埋め込みがNER性能にどの程度向上効果をもたらすか。
• RQ2 品詞タグ付けに用いられた同一の深層ニューラルネットワークアーキテクチャを、手動特徴量を一切使用せずに、NERに効果的に転用できるか。
• RQ3 単語埋め込みの教師なし事前学習は、特にHAREM Iコーパスのような低リソース設定において、NER性能にどのように影響を与えるか。
• RQ4 提案されたモデルは、ポルトガル語およびスペイン語コーパスを用いて、異なる言語間で一般化できるか。
• RQ5 文字レベルの表現が、組織名などレアまたは複雑な名前付きエンティティのリCALL向上にどの程度寄与するか。

主な発見

• CharWNNは、HAREM Iコーパス（ポルトガル語）において選択的状況で77.93の最先端F1スコアを達成し、前回の最先端システムより7.2ポイント高い結果を示した。
• 総合的状況（10種類のNEクラス）では、HAREM IでF1スコア71.41を記録し、前回の最先端システムより7.9ポイント高い結果を達成した。
• SPA CoNLL-2002コーパス（スペイン語）では、CharWNNが82.21のF1スコアを達成し、手動特徴量を一切使用しない状況で報告された最高の結果となった。
• 教師なし事前学習の影響は、HAREM Iコーパス（F1スコア13.2ポイントの向上）に対してはSPA CoNLL-2002（4.3ポイントの向上）よりも顕著に強く、HAREM Iの学習データサイズが小さいことが要因と考えられる。
• CharWNNは、HAREM IのORGクラスにおいて、ETL CMTシステムと比較して21ポイントのリCALL向上を達成し、稀または複雑なエンティティの一般化能力が優れていることが示された。
• モデルは、同一のハイパーパrameterと手動特徴量を一切使用しない状況で、ポルトガル語およびスペイン語のNERにおいて、両方で最先端の結果を達成し、強固で転送可能な性能を示した。