[論文レビュー] Improving Named Entity Recognition by Jointly Learning to Disambiguate Morphological Tags

Onur Güngör, Suzan Üsküdarlı+1 more|arXiv (Cornell University)|Jul 17, 2018

Topic Modeling参考文献 37被引用数 15

ひとこと要約

本論文は、語彙的に豊富な言語における形態素解析（MD）の外部ツールに依存しないようにするため、同時に名前付きエンティティ認識（NER）と形態素解析の学習を行う共同学習フレームワークを提案する。候補となる形態素解析を入力として、両タスクを同時に最適化することで、NERの性能は競争的な水準に達し（F1スコア83.21）、同時に88.05%の精度を達成する解析器を生成した。これは、共同学習がMDの品質を犠牲にすることなくNERの性能を向上させることを示している。

ABSTRACT

Previous studies have shown that linguistic features of a word such as possession, genitive or other grammatical cases can be employed in word representations of a named entity recognition (NER) tagger to improve the performance for morphologically rich languages. However, these taggers require external morphological disambiguation (MD) tools to function which are hard to obtain or non-existent for many languages. In this work, we propose a model which alleviates the need for such disambiguators by jointly learning NER and MD taggers in languages for which one can provide a list of candidate morphological analyses. We show that this can be done independent of the morphological annotation schemes, which differ among languages. Our experiments employing three different model architectures that join these two tasks show that joint learning improves NER performance. Furthermore, the morphological disambiguator's performance is shown to be competitive.

研究の動機と目的

• 語彙的に豊富な言語におけるNERの外部形態素解析ツールへの依存を排除すること。
• 形態素タグ付けと名前付きエンティティ認識を共同で学習することでNERの性能を向上させること。
• 言語固有の再設定を必要とせず、異なる形態素注釈スキームにわたっても動作するモデルを開発すること。
• 共同学習がMDの改善が直接的に見られない場合でもNERの性能向上をもたらすことを示すこと。

提案手法

• 名前付きエンティティ認識器と形態素解析器を、共有された語の表現と共有された隠れ層を用いて共同で学習する。
• 候補となる形態素解析を入力とし、訓練中に正しいものを選択するようにモデルが学習する。
• 3つのモデルアーキテクチャを評価した：joint1（早期統合）、joint2（中間統合）、j_multi（ラテラル統合を伴う多層Bi-LSTM）。
• モデルはBi-LSTM層を用いて文脈情報を符号化し、NERにおける系列デコードにはCRF層を用いる。
• 共同学習プロセスでは、下層で共有パラメータを有する形で、NERとMDの両目的を同時に最適化する。
• 計算制約のため事前学習済み語埋め込みは使用せず、ばらつきを低減するため10回のランダム初期化の平均値を用いて実験を行った。

実験結果

リサーチクエスチョン

• RQ1 NERと形態素解析の共同学習は、外部MDツールに依存せずにNERの性能を向上させることができるか？
• RQ2 提案された共同モデルは、最先端のMDシステムと比較して競争力のある形態素解析精度を達成するか？
• RQ3 共同モデルの性能は、ゴールド標準の形態素特徴を使用した場合と比較してどうなるか？
• RQ4 MD精度が向上しない場合でも、共同学習がNERの性能向上をもたらすか？
• RQ5 再設定を必要とせず、異なる形態素注釈スキームに一般化できるか？

主な発見

• j_multiモデルは最高のNER F1スコア83.21を達成し、スタンドアロンのNERモデル（81.07）を上回り、ゴールド標準の形態素特徴を使用したモデル（83.47）に近い性能を示した。
• 多層Bi-LSTMを用いたj_multiモデルは、他の共同モデルと比較して統計的に有意な向上を示した（Welchのt検定、p < .05）。
• j_multiモデルの形態素解析精度は88.05%に達し、最先端のMDシステムと比較して競争力がある。
• スタンドアロンのMDモデルと比較して、MD精度に顕著な向上は見られず、最良のスタンドアロンMDモデルは別のテストセットで91.03%の精度を達成した。
• NERの性能向上はモデルサイズの増加によるものではなく、パrameter数の増加はわずか2%にとどまった。
• 共同モデルはゴールド形態素特徴を使用したモデルと同等のNER性能を達成した。これは、共同学習が外部解析ツールの代替として効果的に機能することを示唆している。