[論文レビュー] On the Evaluation of Contextual Embeddings for Zero-Shot Cross-Lingual Transfer Learning.

Phillip Keung, Yichao Lu+2 more|arXiv (Cornell University)|Apr 30, 2020

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

この論文は、多言語 BERT (mBERT) を用いたゼロショットクロスリンガル転移学習において、英語の開発セット精度に基づくモデル選択が、ターゲット言語の性能に一貫性のない結果をもたらす不安定性を特定している。著者らは、ファインチューニング中にターゲット言語の開発セット上で最良のチェックポイントを選択する「オラクルスコア」を提案し、MLDoc および XNLI ベンチマークにおいてより再現可能で一貫性のあるゼロショット結果を達成する。

ABSTRACT

Pre-trained multilingual contextual embeddings have demonstrated state-of-the-art performance in zero-shot cross-lingual transfer learning, where multilingual BERT is fine-tuned on some source language (typically English) and evaluated on a different target language. However, published results for baseline mBERT zero-shot accuracy vary as much as 17 points on the MLDoc classification task across four papers. We show that the standard practice of using English dev accuracy for model selection in the zero-shot setting makes it difficult to obtain reproducible results on the MLDoc and XNLI tasks. English dev accuracy is often uncorrelated (or even anti-correlated) with target language accuracy, and zero-shot cross-lingual performance varies greatly within the same fine-tuning run and between different fine-tuning runs. We recommend providing oracle scores alongside the zero-shot results: still fine-tune using English, but choose a checkpoint with the target dev set. Reporting this upper bound makes results more consistent by avoiding the variation from bad checkpoints.

研究の動機と目的

• mBERT ファインチューニングにおける英語の開発セット精度に基づくモデル選択がもたらすゼロショットクロスリンガル転移性能の不安定性を調査すること。
• MLDoc および XNLI において、報告された mBERT ゼロショット精度が複数の研究で顕著に異なる理由を特定すること。
• チェックポイント選択にターゲット言語の開発セットを用いることで、再現性を向上させるより信頼性の高い評価戦略を提案すること。
• 英語の開発セット精度とターゲット言語の性能との間に相関がほとんどない、あるいは逆相関であることが多く、標準的な評価手法の根拠を損なうことを示すこと。

提案手法

• 標準的手順に従って、英語などのソース言語で mBERT をファインチューニングするが、英語の開発セットとターゲット言語の開発セットの両方の性能を監視する。
• 英語の開発セット精度ではなく、ターゲット言語の開発セットでの性能に基づいて最良のモデルチェックポイントを選択し、これを「オラクル」スコアとする。
• MLDoc および XNLI ベンチマークにおいて、英語の開発セット精度に基づく標準的なゼロショット結果と、ターゲット開発セット精度に基づくオラクル結果を比較する。
• 複数回のファインチューニング実行およびハイパーパramータ設定の下で、英語の開発セット精度とターゲット言語精度の相関を分析する。
• 再現性の高い公平な比較を可能にするために、標準的なゼロショット結果とオラクルの上限値を両方報告する。

実験結果

リサーチクエスチョン

• RQ1 なぜ、MLDoc ベンチマークにおいて、出版された mBERT ゼロショット精度が研究ごとに著しく異なるのか？
• RQ2 英語の開発セット精度は、クロスリンガル転移におけるターゲット言語のゼロショット性能をどの程度予測できるのか？
• RQ3 ターゲット言語の開発セット精度に基づくモデル選択と、英語の開発セット精度に基づく選択とを比較した場合、ゼロショット性能の一貫性にどのような差が生じるのか？
• RQ4 ターゲット開発セット上で最良のチェックポイントを選択する「オラクルスコア」を用いることで、ゼロショットクロスリンガル結果の信頼性と再現性が向上するか？
• RQ5 標準的なモデル選択に比べて、オラクルスコアを用いることで、ゼロショットクロスリンガル転移でどの程度の性能向上が得られるのか？

主な発見

• 英語の開発セット精度は、しばしばターゲット言語のゼロショット性能と相関がなく、あるいは逆相関するため、モデル選択の代理指標としては不適切である。
• 同じファインチューニング実行内でも、異なる実行間でもゼロショットクロスリンガル性能に顕著なばらつきが生じており、モデル選択に内在する不安定性を示している。
• ターゲット言語の開発セット上で最良のチェックポイントを選択するオラクルスコアを用いることで、実験全体でより一貫性があり信頼性の高いゼロショット結果が得られる。
• 提案されたオラクルスコアは、再トレーニングを要せず、ゼロショット性能の上限値を示すものであり、再現性の向上に寄与する。
• 英語の開発セット精度に依存する標準的なモデル選択手法は、大きなばらつきを引き起こしており、MLDoc における報告された mBERT ゼロショット精度は、研究間で最大17ポイントの差異を示している。