[論文レビュー] Learning Named Entity Tagger using Domain-Specific Dictionary

Jingbo Shang, Liyuan Liu+4 more|arXiv (Cornell University)|Sep 10, 2018

Topic Modeling被引用数 9

ひとこと要約

本論文では、人間によるアノテーションデータを一切使用せず、ドメイン固有の辞書のみを用いて弱教師付き named entity recognition (NER) を行う新しいニューラルモデル AutoNER を提案する。ノイズの多いラベルにもかかわらず、エンティティのスパン境界を安定してモデル化できる「Tie または Break」というタギング方式を導入することで、AutoNER は既存手法を上回り、3つのベンチマークデータセットにおいて教師ありベースラインと同等の性能を達成した。

ABSTRACT

Recent advances in deep neural models allow us to build reliable named entity recognition (NER) systems without handcrafting features. However, such methods require large amounts of manually-labeled training data. There have been efforts on replacing human annotations with distant supervision (in conjunction with external dictionaries), but the generated noisy labels pose significant challenges on learning effective neural models. Here we propose two neural models to suit noisy distant supervision from the dictionary. First, under the traditional sequence labeling framework, we propose a revised fuzzy CRF layer to handle tokens with multiple possible labels. After identifying the nature of noisy labels in distant supervision, we go beyond the traditional framework and propose a novel, more effective neural model AutoNER with a new Tie or Break scheme. In addition, we discuss how to refine distant supervision for better NER performance. Extensive experiments on three benchmark datasets demonstrate that AutoNER achieves the best performance when only using dictionaries with no additional human effort, and delivers competitive results with state-of-the-art supervised benchmarks.

研究の動機と目的

• 人間によるアノテーションが高コストで時間がかかる低リソースドメインにおいて、正確な NER システムを構築する課題に対処すること。
• 辞書カバレッジの不完全さやエンティティスパンの曖昧さにより、ノイズの多いラベルを生成する弱教師付き学習の限界を克服すること。
• 追加の人間ラベルデータを必要とせず、不完全な辞書ベースのラベルを効果的に活用できるニューラルモデルを開発すること。
• 高品質な「辞書外」のフレーズを抽出し、それらを「unknown」タイプのエンティティとして組み込むことで、弱教師付き学習を精緻化し、誤検出（FN）を低減することで NER の性能を向上させること。
• ラベルノイズに強く、エンティティメンションの構造をより効果的に捉えることのできる、新しいタギング方式とニューラルアーキテクチャを設計すること。

提案手法

• 重複する辞書マッチングに起因する曖昧さを扱えるように、標準的な CRF レイヤーを拡張した「Fuzzy-LSTM-CRF」モデルを提案。このモデルではトークンが複数のラベルを持つことを許容する。
• 隣接するトークンが同じエンティティメンションに属するか（Tie）属しないか（Break）を予測する、新しい「Tie または Break」というタギング方式を導入。これにより、境界レベルのノイズに対してより高い耐性を発揮する。
• AutoNER に二段階のニューラルアーキテクチャを設計：まず隣接トークン間の Tie を検出することで候補スパンを生成し、次に各スパンのタイプを分類する。
• 弱教師付き学習を精緻化するため、コーパスから高品質な「辞書外」フレーズを抽出し、「unknown」タイプのエンティティとしてラベル付けすることで、誤検出（FN）を低減する。
• 拡張された辞書（抽出されたフレーズを含む）を用いた正確な文字列マッチングにより初期ラベルを生成し、合致するトークン数の合計を最大化するように競合を解消する。
• クロスエントロピー損失とバックプロパゲーションを用いて、エンド・トゥ・エンドでモデルを学習。Tie または Break 方式により、ノイズの多い弱教師付き学習下でもより良い一般化性能が得られる。

実験結果

リサーチクエスチョン

• RQ1 人間によるアノテーションデータを一切使用せず、ドメイン固有の辞書のみを用いて、強力な NER 性能を達成できるニューラルモデルは存在するか？
• RQ2 従来のシーケンスラベリングと比較して、「Tie または Break」というタギング方式は、弱教師付き学習由来のノイズの多いラベルに対して、どのように耐性を高めているか？
• RQ3 高品質な「辞書外」フレーズを抽出することで、弱教師付き学習下での NER 性能はどの程度向上するか？
• RQ4 高価な人間アノテーションに依存する教師ありベースラインと比較して、AutoNER はどのように性能を発揮するか？
• RQ5 辞書の拡張とフレーズ抽出による弱教師付き学習の精緻化が、全体の NER 性能に与える影響は何か？

主な発見

• AutoNER は、人間によるアノテーションデータを一切使用せず、辞書ベースの弱教師付き学習のみで、BC5CDR、NCBI、BioCreative の3つのベンチマークデータセットにおいて、最高の F1 スコアを達成した。
• Fuzzy-LSTM-CRF モデルは強力なベースラインを提供するが、AutoNER は著しくそれを上回り、新規の「Tie または Break」方式の有効性を示した。
• 抽出された「辞書外」フレーズを「unknown」タイプのエンティティとして組み込むことで、誤検出（FN）エラーが低減され、全体の性能が向上した。これはアブレーションスタディにより裏付けられた。
• AutoNER の性能は、大規模な人間ラベルデータに依存する最先端の教師ありモデルと同等であり、辞書のみで学習するというアプローチの有効性を証明した。
• アブレーションスタディにより、「Tie または Break」方式と、フレーズ抽出による精緻化された弱教師付き学習の両方が、最適な性能を達成するために不可欠であることが確認された。
• モデルはドメインをまたいで良好に一般化しており、バイオメディカル分野（BC5CDR、NCBI）および一般ドメイン（ラップトップレビュー）の両方のデータセットで一貫した性能向上が得られた。