[論文レビュー] Language Contamination Helps Explain the Cross-lingual Capabilities of English Pretrained Models

Terra Blevins, Luke Zettlemoyer|arXiv (Cornell University)|Apr 17, 2022

Natural Language Processing Techniques被引用数 6

ひとこと要約

この論文は、英語で事前学習された言語モデルが強力な多言語間転送能力を示すのは、多言語設計に起因するのではなく、事前学習コーパスに非英語テキストが顕著に混入しているためであることを示している。たとえ1%未満の割合であっても、その結果として数億の外国語トークンが生じる。本研究では、モデルの非英語言語における性能が、事前学習中に接触した対象言語データの量に強く相関していることを示しており、このようなモデルがスケール上で真に単一言語向けであるという仮定に疑問を呈している。

ABSTRACT

English pretrained language models, which make up the backbone of many modern NLP systems, require huge amounts of unlabeled training data. These models are generally presented as being trained only on English text but have been found to transfer surprisingly well to other languages. We investigate this phenomenon and find that common English pretraining corpora actually contain significant amounts of non-English text: even when less than 1% of data is not English (well within the error rate of strong language classifiers), this leads to hundreds of millions of foreign language tokens in large-scale datasets. We then demonstrate that even these small percentages of non-English data facilitate cross-lingual transfer for models trained on them, with target language performance strongly correlated to the amount of in-language data seen during pretraining. In light of these findings, we argue that no model is truly monolingual when pretrained at scale, which should be considered when evaluating cross-lingual transfer.

研究の動機と目的

• 単一言語の英語で事前学習されたモデルが、非英語のタスクで驚くほど良好に機能する理由を調査すること。
• 一般的に使用される英語事前学習コーパスに非英語テキストがどの程度含まれているかを定量化すること。
• 事前学習中に外国語データにさらされた経験が、多言語間転送性能を説明できるかどうかを評価すること。
• 英語のみで事前学習されたモデルがスケール上で真に単一言語向けであるという仮定に疑問を呈すること。

提案手法

• 事前学習コーパス内の行を非英語と分類するために、0.6の信頼度しきい値を用いたFastText言語識別を用いた。
• C4、Wikipedia、BookCorpus、OpenWebText、CC-NEWS、Storiesを含む6つの主要な英語事前学習コーパスに対して、大規模な自動言語構成分析を実施した。
• 言語識別結果の妥当性を検証し、文脈を明確にするために、小規模な手動による定性的分析を実施した。
• 50言語にわたるマスキング言語モデリングおよび品詞タグ付けの評価を通じて、多言語間転送を測定した。
• ターゲット言語の性能と、事前学習中に接触した対象言語トークンの量との相関関係を分析した。
• ゼロショットおよび微調整済み品詞タグ付けタスクにおいて、英語T5とmBERTを比較し、転送効果を評価した。

実験結果

リサーチクエスチョン

• RQ1 一般的に使用される英語事前学習コーパスに、単一言語データであるとされるにもかかわらず、どの程度の非英語テキストが含まれているのか？
• RQ2 事前学習データにおける非英語テキストへの露出が、英語専用モデルにおける多言語間転送性能をどの程度説明できるのか？
• RQ3 観察された多言語間能力は、ゼロショット一般化ではなく、データの混入によるものではないか？
• RQ4 英語T5のようなモデルが、mBERTのような多言語モデルよりも、ターゲット言語データへの露出により、ゼロショット多言語タスクで優れた性能を示せるのか？
• RQ5 データ収集手法の性質を考えると、大規模に単一言語モデルを訓練することは現実的に可能なのか？

主な発見

• 一般的に使用される英語事前学習コーパスには、単一言語とされるにもかかわらず、非英語テキストが顕著に含まれており、推定では30万～4億トークンにのぼる。
• 1%未満の非英語コンテンツであっても、C4 や OpenWebText のような大規模なデータセットでは、数百万の外国語トークンが含まれている。
• 非英語言語におけるモデルの性能は、事前学習中に接触した対象言語データの量に強く相関している。
• 英語T5は、複数の言語でゼロショット品詞タグ付けにおいてmBERTを上回っており、これはデータの混入が転送を駆動していることを示している。
• Webクロールで得たデータで学習されたモデルは、Wikipedia や他のキュレート済みデータセットと比較して、非英語コンテンツがより多い。
• 本研究は、大規模なデータ収集パイプラインに内在する混入の性質を考えると、真の単一言語モデルはスケール上で実現不可能であると結論づけた。