[論文レビュー] Enhanced Meta-Learning for Cross-lingual Named Entity Recognition with Minimal Resources

Qianhui Wu, Zijia Lin+5 more|arXiv (Cornell University)|Nov 14, 2019

Topic Modeling参考文献 36被引用数 7

ひとこと要約

本論文は、ターゲット言語にラベル付きデータが存在しない低リソース環境における多言語間名前エンティティ認識（NER）のための強化されたメタラーニングフレームワークを提案する。各テストインスタンスに対して、意味的・構造的に類似したソース言語の例をいくつか検索し、それらでメタ学習されたモデルをファインチューニングすることで、ベースライン比最大8.76%の相対的F1スコア向上を達成し、最先端の性能を実現する。

ABSTRACT

For languages with no annotated resources, transferring knowledge from rich-resource languages is an effective solution for named entity recognition (NER). While all existing methods directly transfer from source-learned model to a target language, in this paper, we propose to fine-tune the learned model with a few similar examples given a test case, which could benefit the prediction by leveraging the structural and semantic information conveyed in such similar examples. To this end, we present a meta-learning algorithm to find a good model parameter initialization that could fast adapt to the given test case and propose to construct multiple pseudo-NER tasks for meta-training by computing sentence similarities. To further improve the model's generalization ability across different languages, we introduce a masking scheme and augment the loss function with an additional maximum term during meta-training. We conduct extensive experiments on cross-lingual named entity recognition with minimal resources over five target languages. The results show that our approach significantly outperforms existing state-of-the-art methods across the board.

研究の動機と目的

• ターゲット言語にラベル付きデータが一切存在しない極めて低リソースな状況における多言語間NERの課題に対処すること。
• ソース言語で学習したモデルをターゲット言語の例に直接適用する手法の限界を克服すること。
• 類似したソース例からの構造的・意味的情報を統合することで、多様な言語間での一般化性能を向上させること。
• メタラーニングを用いて、少数の検索された類似例のみで、新しいターゲット言語のテストインスタンスに迅速に適応できる仕組みを提供すること。
• 最小限のタスク固有データで迅速なファインチューニングが可能な強力な初期化を学習するメタラーニングフレームワークを開発すること。

提案手法

• 構造的・意味的に類似したペアを特定するために、ソース言語の例同士の文書類似度を計算することで、メタトレーニング用の疑似NERタスクを構築する。
• 文の類似度を計算するためにマルチリンガルBERTを用い、各ターゲットテストインスタンスに対して関連するソース例を検索する。
• モデルに依存しないメタラーニング（MAML）を適用し、少数の勾配ステップで小さな検索済み例セットに対して迅速な適応が可能なモデル初期化を学習する。
• メタトレーニング中にマスキング方式を導入し、言語間でのロバストネスと一般化性能を向上させる。
• メタ損失関数に最大項を追加することで、モデルが最も関連性の高い例に注目し、遠く離れた例に起因するノイズを低減する能力を強化する。
• 各ターゲットテストインスタンスの推論前に、検索された類似例でメタ学習済みモデルをファインチューニングすることで、文脈に応じた適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高リソースのソース言語から意味的・構造的に類似した例を少数検索することで、ゼロショット多言語間NERの性能が向上するか？
• RQ2 文書類似度から構築した疑似NERタスクを用いたメタラーニングは、低リソースターゲット言語においてより迅速かつ効果的な適応を可能にするか？
• RQ3 提案されたマスキング方式と変更された損失関数は、少数ショット適応における多言語間一般化をどのように向上させるか？
• RQ4 提案手法は、最小リソースおよび低リソースな多言語間NER設定において、既存の最先端手法をどの程度上回るか？
• RQ5 ラベル付きデータが一切存在しない低リソース言語において、モデルは未観測のエンティティや複雑な文法的構造に対しても一般化可能か？

主な発見

• 提案手法は、最小リソース設定下の5つのターゲット言語において、ベースモデル比最大8.76%の相対的F1スコア向上を達成した。
• 低リソース設定（1%、2%、5%ラベル付きデータ）における全ターゲット言語の平均では、ベースモデル比1.47ポイントのF1スコア向上を達成した。
• ベースモデルがソースデータの誤ったパターンに惑わされて失敗するのに対し、モデルは「Secretaría General」をORG、「Edmond Thieffrylaan」をLOCとして正しく特定した。
• 「Krauses」や「奥纳シス」のような未観測エンティティに対しても、表面的なパターンではなく文脈的ヒントに基づいて正しく分類でき、一般化性能が優れている。
• アブレーションスタディの結果、マスキング方式や損失関数の最大項を削除すると性能が低下し、両者の有効性が裏付けられた。
• すべてのターゲット言語およびデータ比において、CL、ML、MLMTといった強力なベースラインを一貫して上回り、ロバストネスと一般化能力の高さを示した。