[論文レビュー] Morphological Embeddings for Named Entity Recognition in Morphologically Rich Languages

Onur Güngör, Eray Yıldız+2 more|arXiv (Cornell University)|Jun 1, 2017

Topic Modeling参考文献 29被引用数 8

ひとこと要約

この論文は、トルコ語やチェコ語などの屈曲語に適した名前付きエンティティ抽出（NER）を向上させるために、ニューラル系列モデルに形態解析を統合する、新しい形態的埋め込みフレームワークを提案する。文字レベルの埋め込みとBi-LSTMベースの形態的埋め込みを組み合わせることで、トルコ語では93.59%、チェコ語では79.59%の最先端のF1スコアを達成し、手作業で特徴を設計する手法や単純な埋め込みに比べて優れた性能を示した。

ABSTRACT

In this work, we present new state-of-the-art results of 93.59,% and 79.59,% for Turkish and Czech named entity recognition based on the model of (Lample et al., 2016). We contribute by proposing several schemes for representing the morphological analysis of a word in the context of named entity recognition. We show that a concatenation of this representation with the word and character embeddings improves the performance. The effect of these representation schemes on the tagging performance is also investigated.

研究の動機と目的

• 形態的豊富な言語における名前付きエンティティ抽出を、ニューラル系列モデルに形態解析を統合することで向上させること。
• 形態的埋め込みの異なる設定がNER性能に与える影響を調査すること。
• 形態的埋め込みと文字レベルの埋め込み、およびそれらの組み合わせの有効性を比較すること。
• エンドツーエンドのディープラーニングと構造的な形態的表現を用いて、トルコ語およびチェコ語NERの新しい最先端のベンチマークを確立すること。

提案手法

• Lampleら（2016）のNERフレームワークを拡張し、形態タグの系列を学習したBi-LSTMネットワークから得られる形態的埋め込みを統合する。
• 各単語の形態タグ（品詞、格、時制など）の系列をBi-LSTMで符号化することで、形態的埋め込みを生成する。
• 最終的な単語表現は、事前学習済みの単語埋め込み、文字レベルの埋め込み（文字のBi-LSTMを介して得る）、および形態的埋め込みを連結することで構成される。
• 左右の文脈をモデル化するための双方向LSTMを用い、その後に全結合層とCRFを適用して系列ラベル付けを行う。
• 形態的埋め込みの複数の設定（語根ベース（WR）、語形ベース（WOR）、文字レベルの形態解析（CHAR））を評価する。
• トルコ語およびチェコ語のデータセットを用いて実験を行い、標準的なCoNLL形式のテストセットにおけるF1スコアで性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 形態的埋め込みを統合することで、トルコ語やチェコ語のような形態的豊富な言語におけるNER性能がどのように向上するか？
• RQ2 語根ベース、語形ベース、文字ベースのどの形態的埋め込み設定が最高のパフォーマンスをもたらすか？
• RQ3 同じNERフレームワーク内において、形態的埋め込みは文字レベルの埋め込みと比べてどの程度有効か？
• RQ4 形態的埋め込みは、文字レベルの埋め込みを補完するのか、あるいは置き換えるのか、NER精度向上に与える影響はどの程度か？

主な発見

• 提案手法は、手作業で特徴を設計する手法や単純な埋め込みに頼る既存手法を上回り、トルコ語NERで93.59%という新しい最先端のF1スコアを達成した。
• チェコ語においては79.59%のF1スコアを達成し、外部のガゼットリー・データやCRFベースのシステムを用いた既存手法よりも顕著な改善を示した。
• 文字レベルの埋め込みと語形ベースの形態的埋め込み（ME(WOR)）を組み合わせた場合に最高のパフォーマンスが得られ、情報の相補的増幅が確認された。
• 文字レベルの形態解析に基づく形態的埋め込み（ME(CHAR)）は、形態タグ付けの誤りに対しても頑健であり、語根ベース（ME(WR)）や語形ベース（ME(WR_ADB)）の設定よりも一部の設定で優れた性能を示した。
• 文字埋め込みによる改善が見られたが、文字埋め込みと形態的埋め込みの組み合わせが最も高い性能を示したため、両者の情報は重複していないことが示された。
• McNemar検定の結果、上位2つの設定（93.59%と93.37%）間に有意差は認められず、文字埋め込みが既に存在する状況では、形態的埋め込みによる向上は限定的であることが示唆された。