[論文レビュー] From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers

Anne Lauscher, Vinit Ravishankar+2 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 53被引用数 35

ひとこと要約

この論文は massively multilingual transformers を用いたゼロショットのクロスリンガル転送を分析し、遠い言語や小規模なターゲットコーパスで顕著なギャップを示し、限られたターゲット言語データでの few-shot 微調整が特に低レベルタスクで大きな改善をもたらすことを実証します。

ABSTRACT

Massively multilingual transformers pretrained with language modeling objectives (e.g., mBERT, XLM-R) have become a de facto default transfer paradigm for zero-shot cross-lingual transfer in NLP, offering unmatched transfer performance. Current downstream evaluations, however, verify their efficacy predominantly in transfer settings involving languages with sufficient amounts of pretraining data, and with lexically and typologically close languages. In this work, we analyze their limitations and show that cross-lingual transfer via massively multilingual transformers, much like transfer via cross-lingual word embeddings, is substantially less effective in resource-lean scenarios and for distant languages. Our experiments, encompassing three lower-level tasks (POS tagging, dependency parsing, NER), as well as two high-level semantic tasks (NLI, QA), empirically correlate transfer performance with linguistic similarity between the source and target languages, but also with the size of pretraining corpora of target languages. We also demonstrate a surprising effectiveness of inexpensive few-shot transfer (i.e., fine-tuning on a few target-language instances after fine-tuning in the source) across the board. This suggests that additional research efforts should be invested to reach beyond the limiting zero-shot conditions.

研究の動機と目的

• 言語的類似性とターゲット言語データ量が massively multilingual transformers を用いたゼロショット転送におよぼす影響を、複数のタスクで評価する。
• ゼロショット転送の有効性においてタスクタイプが影響を与えるかを評価する。
• 転送性能の予測可能性を、言語類似性と事前学習コーパスのサイズを用いて調査する。
• リソースが乏しい言語で性能を改善するための、安価な few-shot 転送の潜在能力を示す。

提案手法

• 英语タスクデータで mBERT および XLM-R をファインチューニングし、5タスクにわたり21言語へのゼロショット転送を評価する。
• 標準トークナイザーとタスク特有のアーキテクチャを用いる（DEP に対して biaffine parser、NER に対して FFN+CRF、XNLI および XQuAD に対して softmax span classifier）。
• 転送品質を UAS、Accuracy、EM で定量化し、英語パフォーマンスに対する低下を報告する。
• ゼロショット性能と語彙距離（lang2vec 特徴量 SYN、PHON、INV、FAM、GEO）およびターゲット言語の事前学習コーパスサイズ（SIZE）との相関を分析する。
• 近接性とコーパスサイズからゼロショット転送性能を予測するため、貪欲な特徴選択を伴う線形（メタ回帰）分析を行う。

実験結果

リサーチクエスチョン

• RQ1 言語類似性とターゲット言語の事前学習コーパスサイズはゼロショット転送においてどのような役割を果たすのか。
• RQ2 低レベルタスクと高レベルタスクのゼロショット条件下で転送性能はどのように異なるのか。
• RQ3 言語的近接性とコーパスサイズを用いて、単純または線形モデルで転送性能を予測できるのか。
• RQ4 少数のターゲット言語の例を用いた few-shot 転送は有効か、タスクと言語距離によってその有効性はどう異なるのか。

主な発見

• ゼロショット転送は、すべてのタスクと言語で性能の大幅な低下を示し、遠隔言語やターゲット言語の事前学習コーパスが小さい場合ほど低下が大きい。
• 低レベルタスクでは転送は言語的類似性と相関し、高レベルタスクではターゲット言語のコーパスサイズと相関する。
• 近接性特徴とコーパスサイズの線形結合は、特に高レベルタスクでゼロショット性能の予測を改善する。
• 少数のターゲット言語の例でファインチューニングする few-shot 転送は大きな改善をもたらし、特に低レベルタスクと遠距離言語でゼロショットのベースラインを大きく上回ることがある。
• few-shot 転送による利益は比較的小さなアノテーション労力で得られるが、タスクによってはアノテーションコストが依然としてボトルネックになる可能性がある。