[論文レビュー] CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation

Jian Yang, Shaohan Huang+7 more|arXiv (Cornell University)|Oct 13, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、高資源言語から低資源言語へ知識を転移するために多言語ラベル付き系列翻訳を活用するゼロショットクロスリンガルNERフレームワークCroPを提案する。ターゲット文をソース言語に翻訳し、ソース言語のNERモデルでタグ付けした後、ラベルプロジェクションを用いた逆翻訳を行うことで、CroPはXTREME-40およびCoNLL-5ベンチマークで強力なベースラインを上回り、F1スコアを3–7ポイント改善する最先端の性能を達成する。

ABSTRACT

Named entity recognition (NER) suffers from the scarcity of annotated training data, especially for low-resource languages without labeled data. Cross-lingual NER has been proposed to alleviate this issue by transferring knowledge from high-resource languages to low-resource languages via aligned cross-lingual representations or machine translation results. However, the performance of cross-lingual NER methods is severely affected by the unsatisfactory quality of translation or label projection. To address these problems, we propose a Cross-lingual Entity Projection framework (CROP) to enable zero-shot cross-lingual NER with the help of a multilingual labeled sequence translation model. Specifically, the target sequence is first translated into the source language and then tagged by a source NER model. We further adopt a labeled sequence translation model to project the tagged sequence back to the target language and label the target raw sentence. Ultimately, the whole pipeline is integrated into an end-to-end model by the way of self-training. Experimental results on two benchmarks demonstrate that our method substantially outperforms the previous strong baseline by a large margin of +3~7 F1 scores and achieves state-of-the-art performance.

研究の動機と目的

• 低資源言語におけるアノテート済みトレーニングデータの不足による低資源NERの課題に対処すること。
• 弱い翻訳やラベルプロジェクションに依存する既存のクロスリンガルNER手法の限界を克服すること。
• 未ラベルのターゲット言語コーパスを活用し、ラウンドトリップ翻訳パイプラインに自己学習を統合することで、知識転移を向上させること。
• フレーズレベルのアラインメントを用いた多言語系列翻訳により、言語的に遠く離れた言語間でも効果的なゼロショット転移を可能にすること。
• 多言語翻訳、NERタグ付け、ラベルプロジェクションを統合したエンドツーエンドのクロスリンガルNER用に堅牢なフレームワークを開発すること。

提案手法

• 多言語翻訳モデルを用いて未ラベルのターゲット言語文をソース言語に翻訳する。
• 事前学習済みのソース言語NERモデルを用いて、翻訳されたソース言語文をタグ付けし、擬似ラベル付き系列を生成する。
• 多言語ラベル付き系列翻訳モデルを用いて、タグ付け済みのソース系列をターゲット言語に逆翻訳するが、エンティティラベルを保持する。
• 語レベルのアラインメントに基づく語彙的マッチングを用いて、逆翻訳された系列から元の未処理ターゲット文へエンティティラベルをプロジェクションする。
• 自己学習を統合して予測を精練し、耐性を高めるために、全パイプラインをエンドツーエンドモデルに統合する。
• フレーズレベルのアラインメント情報を用いて、境界トークンでマークされた対応するスパンを含む多言語並列コーパス上で、ラベル付き系列翻訳モデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 多言語ラベル付き系列翻訳モデルは、ゼロショット設定下で高資源言語から低資源言語へNER知識を効果的に転移できるか？
• RQ2 ラウンドトリップ翻訳とラベルプロジェクションパイプラインは、直接転移や標準的なデータベーストランスファーと比較して、クロスリンガルNERにおいてどのように異なるか？
• RQ3 ターゲット言語にラベルなしで、言語的に遠く離れた言語ペアへも、この手法はどの程度一般化可能か？
• RQ4 自己学習は、静的パイプラインと比較して、エンドツーエンドのCroPフレームワークの性能をどの程度向上させるか？
• RQ5 フレーズレベルのアラインメントと多言語並列データを用いることで、ラベルプロジェクションの品質および最終的なNER性能にどのような影響を与えるか？

主な発見

• CroPはXTREME-40（40言語）およびCoNLL-5（5言語）ベンチマークの両方で最先端の性能を達成し、強力なベースラインを3–7 F1ポイント上回る。
• XTREME-40では平均F1スコア79.8、CoNLL-5では53.8を記録し、特に言語的に遠く離れた言語ペアで顕著な向上を示しており、効果的なクロスリンガル知識転移が実証された。
• 自己学習を用いることで、非自己学習バージョンと比較して平均1.2 F1ポイントのスコア向上が達成され、反復的精錬の有効性が示された。
• 多言語ラベル付き系列翻訳モデルを用いることで、特に対応するスパンとフレーズレベルのアラインメントが使用された場合、ラベルプロジェクションの正確性が顕著に向上した。
• 語彙的マッチングによるエンティティマッチングは、逆翻訳文と元の文が語単位で一致する90％のケースでラベルを正しくプロジェクションでき、擬似ラベルのノイズを低減した。
• 言語的要因が著しく異なる言語ペア、例えば英語→日本語や中国語に対しても、フレームワークは強固な性能を維持しており、多様な言語系統にわたる耐性を示した。