[論文レビュー] A Dual-Contrastive Framework for Low-Resource Cross-Lingual Named Entity Recognition

Yingwen Fu, Nankai Lin+2 more|arXiv (Cornell University)|Apr 2, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、限定的なソース言語データとその翻訳データ上で翻訳レベルおよびラベルレベルの対照的学習を共同最適化することで、性能を向上させる低リソース多言語名前エンティティ認識のためのデュアル対照的フレームワーク、ConCNERを提案する。この手法は、多様な低リソースターゲット言語で最先端の結果を達成し、未ラベルのターゲットデータに対する対照的学習と知識蒸留の組み合わせにより、複数のベースラインを上回る性能を発揮する。

ABSTRACT

Cross-lingual Named Entity Recognition (NER) has recently become a research hotspot because it can alleviate the data-hungry problem for low-resource languages. However, few researches have focused on the scenario where the source-language labeled data is also limited in some specific domains. A common approach for this scenario is to generate more training data through translation or generation-based data augmentation method. Unfortunately, we find that simply combining source-language data and the corresponding translation cannot fully exploit the translated data and the improvements obtained are somewhat limited. In this paper, we describe our novel dual-contrastive framework ConCNER for cross-lingual NER under the scenario of limited source-language labeled data. Specifically, based on the source-language samples and their translations, we design two contrastive objectives for cross-language NER at different grammatical levels, namely Translation Contrastive Learning (TCL) to close sentence representations between translated sentence pairs and Label Contrastive Learning (LCL) to close token representations within the same labels. Furthermore, we utilize knowledge distillation method where the NER model trained above is used as the teacher to train a student model on unlabeled target-language data to better fit the target language. We conduct extensive experiments on a wide variety of target languages, and the results demonstrate that ConCNER tends to outperform multiple baseline methods. For reproducibility, our code for this paper is available at https://github.com/GKLMIP/ConCNER.

研究の動機と目的

• ソース言語のラベル付きデータが乏しい状況における低リソース多言語NERの課題に対処すること。
• ソース言語データとその翻訳をより効果的に活用することで、モデルの汎化性能を向上させること。
• 文とトークンの両レベルでの対照的学習により、低リソース環境における性能低下を緩和すること。
• 多言語データで事前学習された教師モデルからの知識蒸留を用いて、ターゲット言語への適応を強化すること。

提案手法

• 翻訳文とソース文の文レベル表現を一致させるために、翻訳対照的学習（TCL）を導入する。
• 同じ名前エンティティラベル内でのトークンレベル表現を、ソース言語とターゲット言語間で一致させるために、ラベル対照的学習（LCL）を採用する。
• TCLとLCLを同時に最適化するデュアル対照的目的関数を用い、多言語間の整合性と分離性を向上させる。
• 多言語データで事前学習された教師モデルが、未ラベルのターゲット言語データ上の学生モデルをガイドする知識蒸留を適用する。
• 対照的学習の目的関数と蒸留を統合して、学生モデルをターゲット言語の分布に適応させるエンドツーエンドの訓練を実施する。
• 多言語エンコーダーベースドのバックボーンを用い、多言語間の転移と表現学習を支援する。

実験結果

リサーチクエスチョン

• RQ1 文レベルとトークンレベルの対照的学習を共同最適化することで、低リソース環境下での多言語NER性能が向上するか？
• RQ2 標準的なデータ拡張や微調整ベースラインと比較して、提案されたデュアル対照的フレームワークはどの程度効果的か？
• RQ3 多言語教師モデルからの知識蒸留は、未ラベルのターゲット言語データにおける性能向上にどの程度寄与するか？
• RQ4 限定的なソースアノテーションを前提とした多様な低リソースターゲット言語に、このフレームワークは一般化可能か？
• RQ5 対照的学習と蒸留の組み合わせは、多言語NERにおけるデータ不足問題を緩和できるか？

主な発見

• ConCNERは、複数の低リソースターゲット言語で最先端の性能を達成し、標準ベンチマークデータセット上で強力なベースラインを上回る。
• デュアル対照的目的関数は、単一対照的または非対照的ベースラインと比較して顕著な向上を示し、特に低リソース環境下で顕著である。
• ラベル対照的学習（LCL）は翻訳対照的学習（TCL）よりも性能向上に寄与が大きく、細粒度の整合性の重要性を示している。
• 知識蒸留は、未ラベルのターゲット言語データにおけるゼロショットおよびフェイシュット適応を顕著に向上させ、データが乏しい状況での有効性を実証している。
• モデルは、低リソースおよび屈曲的構造を持つ言語を含む多様な言語において、頑健な一般化性能を示している。
• アブレーションスタディにより、TCLとLCLの両方が不可欠な構成要素であり、その組み合わせが最良の性能をもたらすことが確認された。