[論文レビュー] Scaling Laws for Multilingual Neural Machine Translation

Patrick Fernandes, Behrooz Ghorbani+3 more|arXiv (Cornell University)|Feb 19, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、多言語ニューラル機械翻訳（MNMT）モデルにおける連合スケーリング法則を確立し、モデルサイズとトレーニングミックスチャージの間には予測可能なべき乗則的関係が存在することを示している。言語の類似性はスケーリング行動にほとんど影響しないが、翻訳方向（特にXX→En）が効果的パラメータ割り当てに顕著な影響を及ぼし、コストの高いグリッドサーチを伴わずに、モデルサイズや言語重みのあらゆる組み合わせにおいて正確な性能予測が可能になる。

ABSTRACT

In this work, we provide a large-scale empirical study of the scaling properties of multilingual neural machine translation models. We examine how increases in the model size affect the model performance and investigate the role of the training mixture composition on the scaling behavior. We find that changing the weightings of the individual language pairs in the training mixture only affect the multiplicative factor of the scaling law. In particular, we observe that multilingual models trained using different mixing rates all exhibit the same scaling exponent. Through a novel joint scaling law formulation, we compute the effective number of parameters allocated to each language pair and examine the role of language similarity in the scaling behavior of our models. We find little evidence that language similarity has any impact. In contrast, the direction of the multilinguality plays a significant role, with models translating from multiple languages into English having a larger number of effective parameters per task than their reversed counterparts. Finally, we leverage our observations to predict the performance of multilingual models trained with any language weighting at any scale, significantly reducing efforts required for language balancing in large multilingual models. Our findings apply to both in-domain and out-of-domain test sets and to multiple evaluation metrics, such as ChrF and BLEURT.

研究の動機と目的

• モデルサイズとトレーニングミックス構成が多言語翻訳性能に与える影響を理解すること。
• 言語の類似性が多言語モデルにおけるスケーリング行動に影響を及ぼすかどうかを調査すること。
• 異なるモデルサイズと言語重みのあらゆる組み合わせにおいて性能を予測できる連合スケーリング法則を構築すること。
• 各言語ペアごとの効果的パラメータ割り当てを定量化し、言語類似性に対してその堅牢性を評価すること。
• 網羅的なサーチを伴わずに、大規模な多言語モデルにおける効率的なタスクバランスを実現するため、性能のトレードオフを予測すること。

提案手法

• 2000を超えるMNMTモデルを、2000万～10億の非埋め込みパラメータを有する範囲で、多様な言語ペアに対してトレーニングした。
• モデル性能は、ドメイン内およびドメイン外のテストセットにおいて、交差エントロピー損失、ChrF、BLEURTを用いて分析した。
• 連合スケーリング法を提案：$ \mathcal{L}_i(N;\bm{p}) \approx \beta_{\bm{p},i} N^{-\alpha_{\bm{p},i}} + L_\infty^{(\bm{p},i)} $、ここで$ \bm{p} $はミックス重みを定義する。
• 効果的パラメータ割合$ f_i(N) $を定義し、容量が言語ペア間でどのように分配されるかを定量化した。
• 効果的パラメータ割合関数の線形近似を用いて、モデルスケールにわたる性能フロンティアを予測した。
• 交差エントロピー以外の一般化を保証するため、ChrF や BLEURT といった自動指標を用いて発見を検証した。

実験結果

リサーチクエスチョン

• RQ1 トレーニングミックスにおける言語ペアの重み付けを変更すると、多言語モデルのスケーリング行動にどのような影響が生じるか？
• RQ2 言語の類似性（例：ドイツ語-フランス語対比 ドイツ語-中国語）が、多言語翻訳におけるスケーリング指数や不変損失に影響を及ぼすか？
• RQ3 多言語翻訳の方向性（例：XX→En 対比 En→XX）が、効果的パラメータ割り当てと性能スケーリングに与える影響は？
• RQ4 連合スケーリング法が、異なるモデルサイズと言語重みの組み合わせにおいて、性能のトレードオフを正確に予測できるか？
• RQ5 交差エントロピーに基づくスケーリング法が、ChrF や BLEURT といった生成品質指標へ一般化される程度はどの程度か？

主な発見

• スケーリング指数$ \alpha $と不変損失$ L_\infty $は、トレーニングミックスにおける言語ペア重み付けの変更に対して不変である。
• 高リソース言語ペアにおいては、言語の類似性がスケーリング行動にほとんどまたはまったく測定可能な影響を及ぼさない。
• 複数の言語から英語への翻訳（XX→En）を行うモデルは、英語から他の言語への翻訳（En→XX）を行うモデルと比較して、タスクごとの効果的パラメータ割り当てが顕著に高い。
• 連合スケーリング法は、ドメイン内およびドメイン外のテストセットにおいて、交差エントロピーと生成品質指標（ChrF や BLEURT）の両方の性能フロンティアを正確に予測できる。
• 効果的パラメータ割合関数の線形近似は、完全な性能トレードオフフロンティアを非常に正確に予測でき、グリッドサーチを伴わずに効率的なタスクバランスが可能になる。
• 効果的パラメータ割合$ f_i(N) $は、容量割り当てを堅牢に捉え、さまざまな言語ペアやモデルサイズにわたり安定している。