[論文レビュー] Should we Stop Training More Monolingual Models, and Simply Use Machine Translation Instead?

Tim Isbister, Fredrik Carlsson+1 more|arXiv (Cornell University)|Apr 21, 2021

Natural Language Processing Techniques被引用数 7

ひとこと要約

本稿では、低リソース言語のモノリンガル言語モデルの代わりに、英語への機械翻訳 followed で大規模な事前学習済み英語モデルを微調整する手法を提案する。最先端の翻訳モデルと大規模な英語モデル（例：BERT-large）を用いることで、スカンジナビア諸語（フィンランド語を除く）において、優れたもしくは同等の性能を達成した。これは、翻訳ベースの適応法が、ネイティブモデルの訓練よりも実証的に効果的かつ環境に優れていることを示している。

ABSTRACT

Most work in NLP makes the assumption that it is desirable to develop solutions in the native language in question. There is consequently a strong trend towards building native language models even for low-resource languages. This paper questions this development, and explores the idea of simply translating the data into English, thereby enabling the use of pretrained, and large-scale, English language models. We demonstrate empirically that a large English language model coupled with modern machine translation outperforms native language models in most Scandinavian languages. The exception to this is Finnish, which we assume is due to inferior translation quality. Our results suggest that machine translation is a mature technology, which raises a serious counter-argument for training native language models for low-resource languages. This paper therefore strives to make a provocative but important point. As English language models are improving at an unprecedented pace, which in turn improves machine translation, it is from an empirical and environmental stand-point more effective to translate data from low-resource languages into English, than to build language models for such languages.

研究の動機と目的

• 低リソース言語、特にスカンジナビア諸国におけるモノリンガルモデルの訓練という一般的な実践に挑戦すること。
• 英語への機械翻訳 followed で大規模な英語モデルを微調整することで、ネイティブ言語モデルを上回る性能が得られるかどうかを調査すること。
• ネイティブモデルの訓練と翻訳を介して既存の大規模な英語モデルを活用するというアプローチの間で、実証的および環境的トレードオフを評価すること。
• 翻訳品質とモデルサイズが、低リソース環境における下流タスクの性能に与える影響を評価すること。
• 翻訳を介した英語モデルからの転移学習が、ネイティブモデルの構築に代わる実用的でスケーラブルかつ効率的な代替手段であるかどうかを検討すること。

提案手法

• スカンジナビア諸語（スウェーデン語、ノルウェー語、デンマーク語、フィンランド語）の訓練データを、最新の事前学習済み機械翻訳システムを用いて英語に翻訳する。
• 翻訳済みデータ上で大規模な事前学習済み英語言語モデル（例：BERT-base および BERT-large）を微調整し、感情分類タスクに適用する。
• 翻訳済みデータを用いたモデルの性能を、各スカンジナビア言語でネイティブに訓練されたモノリンガルモデルと比較する。
• XLM-RoBERTa-large を、多数言語にわたる大量の多言語データで事前学習した多言語ベースラインとして用い、転移学習性能を評価する。
• 標準的な自然言語処理指標（例：正確度）を用いて、各言語のホールドアウトテストセットで全モデルの性能を評価する。
• 特に文法的類似性と翻訳品質の影響に注目し、言語ごとの性能差を分析する。

実験結果

リサーチクエスチョン

• RQ1 低リソース言語のデータを英語に翻訳し、大規模な事前学習済み英語モデルを用いることで、ネイティブ言語で訓練されたモデルを上回ることができるか？
• RQ2 翻訳済みデータ上で微調整された英語モデルの性能は、スカンジナビア諸語のネイティブモノリンガルモデルと比較して、どのように異なるか？
• RQ3 特に文法的に異なる言語（例：フィンランド語）において、機械翻訳の品質が翻訳ベース手法の成功に果たす役割は何か？
• RQ4 翻訳済みデータを用いる場合、ターゲット英語モデルの事前学習データ量が下流タスクの性能に顕著に影響を与えるか？
• RQ5 環境的および実証的観点から、翻訳→英語アプローチがネイティブモデルの訓練よりも効果的となる状況はどのようなものか？

主な発見

• 翻訳済みデータ上で微調整された大規模な英語モデル BERT-large は、スウェーデン語、ノルウェー語、デンマーク語の各言語で、ネイティブモノリンガルモデルをすべて上回り、それぞれ 97.16%、96.56%、97.48% の正確度を達成した。
• フィンランド語では、ネイティブ BERT モデルが 95.72% の正確度を達成し、最高の翻訳済み英語モデル（94.84%）を上回った。これは、文法的に異なる言語では翻訳品質の制限が顕著であることを示唆している。
• 英語 BERT-base モデルは、翻訳済みスウェーデン語データ上で 95.76% の正確度を達成し、同じテストセットでネイティブスウェーデン語 BERT モデルの 96.76% を 1.00 パcent point だけ下回った。
• XLM-RoBERTa-large は、2950億トークンにわたる多言語データで事前学習されており、フィンランド語を除き、すべての言語で最先端の結果を達成した。特にデンマーク語では、翻訳済みデータ上で最高の結果が得られた。
• 翻訳品質が主なボトルネックであった：BERT-large が翻訳済みフィンランド語データで低性能を示したのは、翻訳品質が低かったことに起因しており、翻訳品質が下流モデルの性能に直接影響していることが示された。
• このアプローチは、翻訳品質が高く、転送効果が強い文法的に類似した言語（例：スカンジナビア諸語と英語）に対して最も効果的である。