[論文レビュー] Neural Cross-Lingual Transfer and Limited Annotated Data for Named Entity Recognition in Danish

Barbara Plank|arXiv (Cornell University)|Mar 5, 2020

Topic Modeling参考文献 18被引用数 5

ひとこと要約

本稿では、最小限の言語内アノテート済みデータを用いて、英語の事前学習モデルと組み合わせたニューラルクロスリンガル転送手法を提案する。5,000〜10,000語の黄金ラベル付きデンマーク語文を微調整したBiLSTMモデルと、マルチリンガル単語埋め込みを活用することで、開発セットで70.8%のF1スコアを達成。ゼロショット転送や既存のシステムを上回り、限られたアノテート済みデータとクロスリンガル転送を組み合わせることで、デンマーク語における低リソースNERが非常に効果的に実現可能であることを示している。

ABSTRACT

Named Entity Recognition (NER) has greatly advanced by the introduction of deep neural architectures. However, the success of these methods depends on large amounts of training data. The scarcity of publicly-available human-labeled datasets has resulted in limited evaluation of existing NER systems, as is the case for Danish. This paper studies the effectiveness of cross-lingual transfer for Danish, evaluates its complementarity to limited gold data, and sheds light on performance of Danish NER.

研究の動機と目的

• デンマーク語NERのための公開可能で高品質なアノテート済みデータの不足が、既存システムの実証的評価を妨げていることに対処する。
• 英語NERモデルからのクロスリンガル転送が、低リソースのデンマーク語NERにどの程度有効であるかを評価する。
• ゼロショット転送、言語内データを用いた少データ学習（few-shot learning）、微調整戦略を比較し、デンマーク語NER性能の向上を検証する。
• 将来的な研究を支援するため、公開可能なデンマーク語NERデータセットとベンチマークを提供する。

提案手法

• CoNLL 2003のガイドラインに従い、ユニバーサルディペンダシーソートツリーべースのデンマーク語データから、人物（PER）、場所（LOC）、組織（ORG）、その他（MISC）の名前付きエンティティをアノテートし、アノテーター間一致度が0.9のCohen’s kappaを達成した。
• 中規模（3.2k文）と大規模（14k文）の2通りの設定で、英語CoNLL 2003データを用いてBiLSTMベースのニューラルNERモデルを学習した。
• マルチリンガル単語埋め込み（Polyglot）を用いてモデルを初期化することで、ゼロショットおよび少データ学習を可能にするクロスリンガル転送を実施した。
• 4つの転送戦略を評価した：ゼロショット転送、Polyglot初期化による言語内学習、英語およびデンマーク語データを併用した共同学習、英語で事前学習した後にデンマーク語で微調整する戦略。
• 少データ学習とゼロショット転送を比較するため、小さな言語内トレーニングセット（5,000語および10,000語）を用いた。データ量の影響を評価した。
• 開発セットおよびテストセットのF1スコアを用いて性能を評価し、各名前付きエンティティタイプごとの分析も実施した。

実験結果

リサーチクエスチョン

• RQ1 既存の英語リソースから、どの程度NERタガーモデルをデンマーク語に転送できるか？
• RQ2 ゼロショット学習と比較して、非常に少量の言語内データをアノテートすることで得られる効果（少データ学習）はいかほどか？
• RQ3 限られた黄金データとクロスリンガル転送を用いた場合、デンマーク語NERシステムの正確性はどの程度か？
• RQ4 少データ設定において、微調整が共同学習や直接的転送を上回るか？
• RQ5 中規模（medium）と大規模（large）のどちらのソースデータサイズが、デンマーク語NERにおけるクロスリンガル転送でより優れたパフォーマンスをもたらすか？

主な発見

• 中規模のソースデータを用いたゼロショットクロスリンガル転送では、開発セットで58.29%のF1スコアを達成。小さな言語内データから訓練を開始した場合よりも優れた性能を示した。
• 英語で事前学習した後にデンマーク語で微調整したモデルは、共同学習よりも低い性能にとどまった。これは、共同学習が段階的適応よりも効果的であることを示している。
• 転送プロセスにたった10,000語の言語内文を追加しただけで、大規模ソース設定でF1が70.82%に上昇した。これは、限られた黄金データとクロスリンガル転送の相乗効果が非常に強いことを示している。
• 最も優れた性能を示したシステムは、中規模の英語ソースデータと10,000語の言語内デンマーク語文を組み合わせたもので、開発セットではF1が70.82%、テストセットでは66.0%を達成した。
• すべてのエンティティタイプにおいて、ニューラルBiLSTMモデルはPolyglotおよびDKIEシステムを上回ったが、LOCタイプではPolyglotがより優れていた。
• エンティティタイプごとの分析では、BiLSTMモデルがPERで83.3%、ORGで71.8%、MISCで60.0%のF1スコアを達成し、頻度の高いエンティティタイプに対して優れた性能を示した。