[論文レビュー] Robust Named Entity Recognition in Idiosyncratic Domains

Sebastian Arnold, Felix A. Gers+2 more|arXiv (Cornell University)|Aug 24, 2016

Topic Modeling参考文献 28被引用数 7

ひとこと要約

この論文では、文字トライグラム符号化とサーフェスフォーム特徴量を備えたスタックド双方向LSTMに基づく、ロバストで低リソースな名前付きエンティティ認識（NER）モデル、DATEXIS-NERを提案する。数百件のラベル付き文での学習のみで、外部知識を一切用いずに、ニュースやバイオメディスンなど多様なドメインで84–94％のF1スコアを達成し、単語ベクトルモデルに比べてより少ない学習データでも優れた性能を発揮し、固有の言語、綴りのばらつき、大文字小文字の誤りに対しても効果的に対処する。

ABSTRACT

Named entity recognition often fails in idiosyncratic domains. That causes a problem for depending tasks, such as entity linking and relation extraction. We propose a generic and robust approach for high-recall named entity recognition. Our approach is easy to train and offers strong generalization over diverse domain-specific language, such as news documents (e.g. Reuters) or biomedical text (e.g. Medline). Our approach is based on deep contextual sequence learning and utilizes stacked bidirectional LSTM networks. Our model is trained with only few hundred labeled sentences and does not rely on further external knowledge. We report from our results F1 scores in the range of 84-94% on standard datasets.

研究の動機と目的

• 標準的なNLPツールが、希少で非標準的、あるいは新規の言語によって失敗する、バイオメディスンやニューステキストのような固有の言語を特徴とするドメインにおける名前付きエンティティ認識（NER）のリコール不足の課題に対処すること。
• 外部知識ベース、ルール、構文解析に依存せず、最小限の人手ラベル付きデータで動作する汎用的でロバストなNERシステムを構築すること。
• 綴り間違い、大文字小文字の誤り、および未知語や新規語が単語ベクトルモデルを破綻させるという一般的なNERの失敗要因を克服すること。
• エンティティリンクや関係抽出といった後続タスクにおいて、エンティティが欠落した場合に後から回復できないように、高リコールのNERを可能にすること。
• 最小限のアノテーション作業で、企業および研究用途向けのパーソナライズドNERをサポートできる、特殊ドメインに適応可能なシステムを構築すること。

提案手法

• 文脈的依存関係をモデル化するため、シーケンスデータにおける長距離依存関係と文法的構造を捉えるために、スタックド双方向LSTMネットワークを用いる。
• 単語埋め込みではなく、文字トライグラム（3文字の部分文字列）を用いて単語を符号化することで、綴りのばらつき、大文字小文字の違い、未知語に対する耐性を向上させる。
• 大文字・小文字・初文字大文字など、ケース感度のサーフェスフォーム特徴量を組み込み、固有名詞の検出を向上させ、入力テキストにおける不規則な大文字小文字の使い方に対応する。
• 事前学習済み単語ベクトルや外部知識ベースに依存せず、わずか数百件のラベル付き文でのみ、エンドツーエンドでモデルを学習する。
• 文字レベルの埋め込み層を用いて単語を表現することで、サブワードパターンから学習することで、希少語や未知語への一般化を可能にする。
• 文脈的LSTM表現とトライグラム特徴量を統合することで、特にフラグメンテーションが複雑またはドメイン特化された用語の表現学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのNERシステムは、わずか数百件のラベル付きトレーニング例でのみ、固有の言語を特徴とするドメインで高いリコールとF1スコアを達成できるか？
• RQ2 文字トライグラム符号化は、単語ベクトル（word2vec）と比較して、綴りのばらつき、大文字小文字の誤り、未知語の処理においてどのように優れているか？
• RQ3 外部言語資源に依存せずに、双方向LSTMは、句の連接関係（syntagmatic）および類義的関係（paradigmatic）の語の関係をどの程度正確に捉えることができるか？
• RQ4 外部知識ベースやドメイン特化ルールに依存しないモデルは、バイオメディスンやニューステキストなど多様なドメインに効果的に一般化できるか？
• RQ5 サーフェスフォーム特徴量と文字レベル符号化は、現実世界のテキストにおける不規則な大文字小文字や非標準的な綴りの影響をどの程度軽減できるか？

主な発見

• CoNLL2003、KORE50、ACE2004、MSNBCといった標準NERデータセットで、F1スコアが84％～94％に達し、ドメイン間での強力な一般化性能を示した。
• 文字トライグラム符号化により、サブワードパターンを捉えることで、未確認または綴り間違いのある単語（例：'monoyctes'、'anti-CD15'）に対しても耐性が高く、単語ベクトルモデルで見られるゼロベクトルの影響を低減した。
• より大きなコーパスで学習された単語ベクトルベースのモデルに比べ、特に希少語や新規語、語彙素の変化に対しても優れた性能を発揮した。
• ケースフラグ（例：大文字、小文字、初文字大文字）などのサーフェスフォーム特徴量は、特に見出しや混合大文字小文字の文書において、不規則な大文字小文字の使い方による誤検出（偽陽性）を顕著に減少させた。
• 双方向LSTMは、'IkB alphaのT細胞線維における劣化' などの文脈的に曖昧で複雑な語の並びに対しても、句の連接関係（syntagmatic relations）を効果的にモデル化し、エンティティ境界の検出精度を向上させた。
• GENIAバイオメディスンコーパスのような極めて専門的なドメインにおいても、標準的なNERツールがドメイン特化語彙や非標準的な文法構造のため失敗する中で、高いリコールを維持した。