[論文レビュー] Transformer-Based Named Entity Recognition for French Using Adversarial Adaptation to Similar Domain Corpora

Arjun Choudhry, Pankaj Gupta+5 more|arXiv (Cornell University)|Dec 5, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、低リソースNLPタスクにおける命名エンティティ認識（NER）の性能向上を図るため、敵対的適応を活用したトランスフォーマー基盤のフレームワークを提案する。ラベル付きソースデータセット上でフランス語言語モデルをファインチューニングし、敵対的訓練により類似ドメインまたはミックスドメインの大量でラベルなしコーパスに適応させることで、より小さなモデル（例：CamemBERT-Wiki-4GB）が適切に適応されれば、より大きなモデルを上回るか同等の性能を達成する。

ABSTRACT

Named Entity Recognition (NER) involves the identification and classification of named entities in unstructured text into predefined classes. NER in languages with limited resources, like French, is still an open problem due to the lack of large, robust, labelled datasets. In this paper, we propose a transformer-based NER approach for French using adversarial adaptation to similar domain or general corpora for improved feature extraction and better generalization. We evaluate our approach on three labelled datasets and show that our adaptation framework outperforms the corresponding non-adaptive models for various combinations of transformer models, source datasets and target corpora.

研究の動機と目的

• フランス語のような低リソース言語におけるラベル付きNERデータセットの不足という課題に対処すること。
• 敵対的ドメイン適応を用いてフランス語NERモデルの汎化性能を向上させ、過学習を低減すること。
• より小さなドメイン適応型言語モデルが、適切に適応された場合に、より大きな事前学習モデルを上回るか同等のNER性能を達成できるかどうかを評価すること。
• ターゲットコーパスのドメイン類似度がモデルの汎化性能および性能に与える影響を調査すること。

提案手法

• フレームワークはドメイン識別器を用いて、ラベル付きソースデータとラベルなしターゲットコーパスの特徴を統一し、ドメイン不変の表現を促進する。
• 敵対的適応は、NER分類損失と敵対的ドメイン損失を組み合わせた総損失関数を用いて実装され、最適なバランスを得るためのハイパーパrameter α=2 を採用する。
• 3種類のフランス語言語モデル（CamemBERT-base、CamemBERT-Wiki-4GB、FlauBERT-base）をラベル付きソースデータセットでファインチューニングし、類似ドメインまたはミックスドメインのラベルなしターゲットコーパスに適応させる。
• ターゲットコーパスには、WikiNER、WikiNeural、Leipzig Mixed-French（Mixed-Fr）が含まれており、ドメイン類似度の異なるレベルでの評価が可能となる。
• 一貫性のあるシーケンスラベリングのため、NERタグはIOBフォーマットに変換される。
• ドメイン分類器はソースドメインとターゲットドメインの特徴を区別するように学習され、特徴抽出器はそれを欺くように学習されることで、不変な特徴学習が促進される。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしで類似ドメインのコーパスに敵対的適応を適用することで、低リソースフランス語データセットにおけるNER性能が向上するか？
• RQ2 より小さなドメイン特化型言語モデル（例：CamemBERT-Wiki-4GB）を大規模なラベルなしコーパスに適応させることで、CamemBERT-baseのようなより大きなモデルと同等の性能が得られるか？
• RQ3 ソースコーパスとターゲットコーパスのドメイン類似度が、モデルの汎化性能および性能に与える影響は何か？
• RQ4 ミックスドメインコーパスをターゲットとして適応させることで、ドメイン不一致コーパスを用いた場合よりも高い性能が得られるか？

主な発見

• 敵対的適応は、すべてのモデルとデータセットの組み合わせにおいてF1スコアを一貫して向上させ、非適応ベースラインを上回った。
• CamemBERT-Wiki-4GBをWikiNeuralコーパスに適応させた場合、WikiNERデータセットでF1スコア0.969を達成し、非適応のCamemBERT-baseモデルを上回った。
• 同じドメインのターゲットコーパス（例：WikiNERからWikiNeuralに適応）に適応させたモデルは、ミックスドメインコーパスに適応させたモデルと同等またはわずかに優れた性能を示した。
• EuropeanaコーパスをミックスドメインのMixed-Frコーパスに適応させた場合、F1スコアは0.701に達し、異なるドメインのコーパスに適応させた場合（F1=0.682）より顕著に優れた性能を示した。
• FlauBERT-baseモデルは、WikiNeuralをソースとしてMixed-Frに適応させた場合、F1スコア0.973を達成し、ミックスドメイン適応において優れた汎化性能を示した。
• 提案手法により、適切に適応されたより小さな効率的なモデルが、より大きなモデルの性能を模倣または上回ることが可能となり、大規模事前学習への依存が軽減された。