[論文レビュー] AdvPicker: Effectively Leveraging Unlabeled Data via Adversarial Discriminator for Cross-Lingual NER

Weile Chen, Huiqiang Jiang+3 more|arXiv (Cornell University)|Jun 4, 2021

Topic Modeling参考文献 35被引用数 4

ひとこと要約

AdvPickerは、翻訳モデルや地名辞書などの外部リソースを必要とせず、言語に依存しない高品質な偽ラベル付き例を識別するための識別器を訓練することで、ラベルなしの対象言語データを活用する、クロスリンガルNERのための画期的な敵対的データ選択フレームワークを提案する。敵対的訓練と知識蒸留を組み合わせることで、外部リソースを必要とせずに最先端の手法を上回る性能を達成する。

ABSTRACT

Neural methods have been shown to achieve high performance in Named Entity Recognition (NER), but rely on costly high-quality labeled data for training, which is not always available across languages. While previous works have shown that unlabeled data in a target language can be used to improve cross-lingual model performance, we propose a novel adversarial approach (AdvPicker) to better leverage such data and further improve results. We design an adversarial learning framework in which an encoder learns entity domain knowledge from labeled source-language data and better shared features are captured via adversarial training - where a discriminator selects less language-dependent target-language data via similarity to the source language. Experimental results on standard benchmark datasets well demonstrate that the proposed method benefits strongly from this data selection process and outperforms existing state-of-the-art methods; without requiring any additional external resources (e.g., gazetteers or via machine translation). The code is available at https://aka.ms/AdvPicker

研究の動機と目的

• ラベルなしの対象言語データを活用することで、低リソース言語における低リソース名前付きエンティティ認識の課題に対処する。
• すべての偽ラベル付きデータが有益であると仮定する従来の偽ラベル付け手法の限界を克服し、ノイズや言語固有のバイアスを導入するのを防ぐ。
• 敵対的学習を用いて、言語に依存しない高品質な偽ラベル付き例のみを選択することで、クロスリンガル転移性能を向上させる。
• 機械翻訳や並列コーパスなどの高コストな外部リソースに依存せずに、特徴ベースと偽ラベル付けアプローチを組み合わせた手法を開発する。

提案手法

• mBERTを用いて、トークンレベルの敵対的訓練を実施し、言語に依存しない表現を学習するソース言語NERモデルを訓練する。
• 言語識別器を訓練し、ソース言語とターゲット言語のトークンレベル表現を区別させることで、エンコーダーが言語固有の特徴を最小限に抑えるように促す。
• 事前学習済みエンコーダーを用いて、ラベルなしのターゲット言語データに対して偽ラベルを生成する。
• 訓練済みの識別器を用いて、ターゲット言語の例の中から、最も言語に依存しない（すなわち、ソースに似た）偽ラベル付き例のみを選択する。
• 選択された高品質な偽ラベル付きデータ上で、最終的なターゲット言語NERモデルを知識蒸留により訓練する。
• ソフトラベル蒸留戦略を用い、異なるランダムシードを持つ複数の教師モデルの予測に基づいて、学生モデルを訓練することで、ロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、クロスリンガルNERにおいて、ラベルなしのターゲット言語データから言語に依存しない高品質な偽ラベル付き例を効果的に同定できるか？
• RQ2 すべての偽ラベル付きデータを使用するのではなく、言語に依存しない偽ラベル付きデータのみを選択することで、モデルの一般化性能と性能が向上するか？
• RQ3 提案手法は、翻訳モデルや地名辞書などの外部リソースに依存せずに、ゼロショットクロスリンガルNERで最先端の性能を達成できるか？
• RQ4 敵対的データ選択メカニズムは、複数のランダムシードにわたるモデルの安定性とロバストネスにどのように影響を与えるか？

主な発見

• AdvPickerは、標準ベンチマークデータセット上で3つのターゲット言語（ドイツ語、スペイン語、オランダ語）において、以前の最先端手法よりも最大1.5–2.0 F1ポイントの向上を達成し、新たな最先端のF1スコアを記録した。
• 言語に依存しないデータの平均F1スコアは、言語固有のデータよりも12.87ポイント高いことが確認され、選択された例の品質が裏付けられた。
• 選択されなかったデータ（「その他」スプリット）でも、AdvPickerはすべてのベースラインを上回る性能を示しており、選択されたデータ分布を超えて一般化できることを示している。
• アブレーションスタディの結果、選択されたデータに対する知識蒸留は性能を顕著に向上させたが、すべての偽ラベル付きデータを用いると性能が低下する傾向にあり、選択的データ利用の重要性が裏付けられた。
• mBERT-ftやUniTransと比較して、AdvPickerは5つのランダムシードにわたるF1スコアの標準偏差が低く、訓練の安定性が向上していることが示された。
• 本手法は、すべてのターゲット言語で一貫した改善を示しており、特にドイツ語やオランダ語のようなより大きなデータセットではより大きな向上幅を示しており、よりリソースの多いターゲット言語に対してもスケーラブルであることが示唆された。