[論文レビュー] Transfer Learning and Distant Supervision for Multilingual Transformer Models: A Study on African Languages

Michael A. Hedderich, David Ifeoluwa Adelani+4 more|arXiv (Cornell University)|Oct 7, 2020

Natural Language Processing Techniques参考文献 45被引用数 49

ひとこと要約

この論文は転移学習と遠隔監督を用いた多言語トランスフォーマーモデル（mBERTとXLM-RoBERTa）を、3つのアフリカ諸言語（Hausa, isiXhosa, Yorùbá）でNERとニュース話題分類に対して研究し、非常に小さなラベル付きデータセットでも実用的な低リソース設定で競争力の性能を達成できることを示す。留意点あり。

ABSTRACT

Multilingual transformer models like mBERT and XLM-RoBERTa have obtained great improvements for many NLP tasks on a variety of languages. However, recent works also showed that results from high-resource languages could not be easily transferred to realistic, low-resource scenarios. In this work, we study trends in performance for different amounts of available resources for the three African languages Hausa, isiXhosa and Yor\\`ub\\'a on both NER and topic classification. We show that in combination with transfer learning or distant supervision, these models can achieve with as little as 10 or 100 labeled sentences the same performance as baselines with much more supervised training data. However, we also find settings where this does not hold. Our discussions and additional experiments on assumptions such as time and hardware restrictions highlight challenges and opportunities in low-resource learning.

研究の動機と目的

• 現実的な低リソースのアフリカ諸言語で多言語トランスフォーマーの評価を動機づける。
• NERと話題分類のためのHausa、isiXhosa、Yorùbáへ高リソース言語からの転移学習を評価する。
• 低リソース環境における manual labeling の代替または補完としての distant supervision を評価する。
• 低リソースNLPにおける開発セット、ハードウェア、アノテーション労力といった実務的考慮事項を調査する。
• 今後の低リソース多言語NLP研究を導く公開データセットと洞察を提供する。

提案手法

• Hausa、isiXhosa、Yorùbáを横断するNERと話題分類におけるmBERTとXLM-RoBERTaを評価する。
• 言語モデル事前学習を用いて従来のRNNベースのベースライン（GRU、LSTM-CNN-CRF、RCNN）とTransformerモデルを比較する。
• 高リソースの英語タスク（CoNLL03 NER、AG News）でファインチューニングして転移学習を Studyし、ターゲット言語へのゼロショットまたは少数ショット転移を評価する。
• NERと話題ラベルのためにWikidataエンティティリストと言語特有のヒューリスティクスに基づく distant supervision ルールを作成・評価する。
• ラベルノイズ処理と distant supervision をノイズ耐性訓練と組み合わせた影響を調査する。
• 低リソースのシナリオにおける開発セット、ハードウェア制約、アノテーション時間などの実務的考慮事項について議論する。

実験結果

リサーチクエスチョン

• RQ1 より複雑なトランスフォーマーモデルは低リソースのアフリカ諸言語のRNNと比較してどうか。
• RQ2 高リソース言語からHausa、isiXhosa、Yorùbáへの転移学習はNERと話題分類に有効か。
• RQ3 これらの低リソース言語に対して transformer モデルを用いた distant supervision は有益か。
• RQ4 現実的な前提条件（開発セット、ハードウェア、アノテーション時間）は実務的に低リソース多言語NLPにどのように影響するか。

主な発見

• トランスフォーマーは低リソース設定のNERでHausaとYorùbá、isiXhosaでは一部の設定で従来のRNNベースのベースラインを上回ることが多く、CRFは特定のケースで依然として競争力がある。
• 英語からの転移学習は大きな利得を生み得る；NER では、ターゲット言語のラベル付きサンプルをわずか10件使用するだけで、共通ラベルセット上のF1を少なくとも10ポイント改善できる。
• distant supervision はデータが極端に乏しい場合に有用な利得を提供する。例として Yorùbá NER は100件のラベル付きデータで、一定のノイズ処理設定下で手動でラベル付けされた400件と同等の成果を達成。
• distant supervision 単独ではテストセットでの F1 は控えめな値になる（例: Hausa NER 54%、 Yorùbá NER 62%； topic classification では Hausa 49%、 Yorùbá 55%）、その利点はラベルノイズ処理と利用可能な manual data に依存する。
• ハードウェアとモデルサイズは結果に影響し、DistilBERT は一部のケースで同等の性能を示すが、非常に少数の例ではNERの性能低下を招く。
• 実務的なアノテーション時間の考慮では、distant supervisionとルールベースのラベリングは実現可能だが、manual labeling 労力と慎重に評価する必要がある。