[論文レビュー] Cross-Lingual Named Entity Recognition Using Parallel Corpus: A New Approach Using XLM-RoBERTa Alignment

Bing Li, Yujie He+1 more|arXiv (Cornell University)|Jan 26, 2021

Topic Modeling参考文献 29被引用数 14

ひとこと要約

本論文は、XLM-RoBERTaを用いて英語の平行文を標的言語にエンティティをアライメントすることで、翻訳を必要とせずに高品質な疑似ラベル付き学習データを生成する、新しいゼロショットクロスリンガルNERアプローチを提案する。この手法は、多言語表現学習とノイズに強い損失関数を活用することで、ノイズの多いラベルを軽減し、4言語で競争力のあるF1スコアを達成する。

ABSTRACT

We propose a novel approach for cross-lingual Named Entity Recognition (NER) zero-shot transfer using parallel corpora. We built an entity alignment model on top of XLM-RoBERTa to project the entities detected on the English part of the parallel data to the target language sentences, whose accuracy surpasses all previous unsupervised models. With the alignment model we can get pseudo-labeled NER data set in the target language to train task-specific model. Unlike using translation methods, this approach benefits from natural fluency and nuances in target-language original corpus. We also propose a modified loss function similar to focal loss but assigns weights in the opposite direction to further improve the model training on noisy pseudo-labeled data set. We evaluated this proposed approach over 4 target languages on benchmark data sets and got competitive F1 scores compared to most recent SOTA models. We also gave extra discussions about the impact of parallel corpus size and domain on the final transfer performance.

研究の動機と目的

• 多言語NERの高コストなアノテーション問題を解決するため、平行コーパスを用いたゼロショット転送を可能にする。
• 単語レベルのアライメントにおける流暢さや構造的不一致に苦しむ翻訳ベース手法の限界を克服する。
• 手作業で特徴を設計せずに、XLM-RoBERTaから得られる強力な多言語表現を用いてエンドツーエンドのエンティティアライメントを実現する。
• ノイズの多い疑似ラベル付きデータに対する学習のロバスト性を向上させるために、新しい再重み付け損失関数を導入する。
• 平行コーパスのドメインとサイズがクロスリンガルNER転送性能に与える影響を評価する。

提案手法

• 英語ラベル付きデータでNERモデルを学習し、その後そのモデルを平行コーパスの英語側に適用してエンティティ予測を生成する。
• XLM-RoBERTaを用いて言語ペア間の検出エンティティをアライメントし、英語のラベルを標的言語に投影する。
• 平行文からのアライメント済みエンティティスパンを用いて、標的言語における疑似ラベル付きNERデータセットを構築する。
• 修正された損失関数を用いて、疑似ラベル付き標的言語データ上で多言語モデル（例：mBERT や XLM-R）をファインチューニングする。
• ファーカス損失にインspiredされた再重み付け損失関数を導入し、難易度の高い例を低減することでノイズの影響を軽減する。
• 複数のドメインの平行データ（例：ニュース、字幕、Wikipedia）を組み合わせることで、一般化性能を向上させ、エンティティ分布のシフトに対処する。

実験結果

リサーチクエスチョン

• RQ1 XLM-RoBERTaベースのアライメントは、従来の非教師ありまたはヒューリスティック手法よりも、ゼロショットクロスリンガルNERで優れた性能を発揮するか？
• RQ2 提案された再重み付け損失関数は、ノイズの多い疑似ラベル付きデータ上で、モデルの収束性と性能をどのように向上させるか？
• RQ3 平行コーパスのドメインが転送されたNERモデルの品質にどの程度影響を与えるか？
• RQ4 複数の平行コーパスドメインを組み合わせることで、単一ドメインデータよりも高い平均性能が得られるか？
• RQ5 平行データのサイズとドメイン多様性は、低リソース言語における転送性能にどのように影響を与えるか？

主な発見

• 提案手法は4つの標的言語で競争力のあるF1スコアを達成し、ゼロショットクロスリンガルNERにおけるすべての従来の非教師ありモデルを上回った。
• CoNLL2002ドイツ語NERベンチマークでは、再重み付け損失を用いた逐次的ファインチューニングによりF1スコア74.6を達成し、ゼロ転送（F1=72.1）および標準的な交差エントロピー損失によるファインチューニング（F1=72.7）を上回った。
• 複数の平行コーパスドメイン（例：ニュース、字幕、Wikipedia）の組み合わせが、テストセット全体で最高の平均性能を達成し、単一ドメインデータを上回った。
• ニュースドメインの平行データは、ドメインの類似性に一致してPeople’s Dailyテストセットで最良の性能を示したが、OpenSubtitlesはフォーマルなテキストではエンティティ密度とスタイルの不一致のため、性能が低かった。
• アブレーションスタディにより、英語での事前学習と疑似ラベル付き標的言語データでのファインチューニングが両方とも不可欠であることが確認され、再重み付け損失が逐次学習において優れた性能を示した。
• 英語と疑似ラベル付きドイツ語データを同時に学習する場合、標的言語データのノイズ露出が高いため、性能が劣った可能性がある。