[논문 리뷰] Scaling Laws for Multilingual Neural Machine Translation

Patrick Fernandes, Behrooz Ghorbani외 3명|arXiv (Cornell University)|2023. 02. 19.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 다국어 신경 기계 번역(MNMT) 모델에 대한 공동 스케일링 법칙을 수립하여, 모델 크기와 훈련 혼합 가중치가 예측 가능한 거듭제곱 법칙 관계를 따른다는 것을 보여준다. 언어 유사성은 스케일링 행동에 미미한 영향을 미치지만, 번역 방향(특히 XX→En)은 효과적인 파rameter 할당에 중대한 영향을 미치며, 비용이 많이 드는 그리드 서치 없이도 다양한 모델 크기와 언어 가중치에서 정확한 성능 예측이 가능하다.

ABSTRACT

In this work, we provide a large-scale empirical study of the scaling properties of multilingual neural machine translation models. We examine how increases in the model size affect the model performance and investigate the role of the training mixture composition on the scaling behavior. We find that changing the weightings of the individual language pairs in the training mixture only affect the multiplicative factor of the scaling law. In particular, we observe that multilingual models trained using different mixing rates all exhibit the same scaling exponent. Through a novel joint scaling law formulation, we compute the effective number of parameters allocated to each language pair and examine the role of language similarity in the scaling behavior of our models. We find little evidence that language similarity has any impact. In contrast, the direction of the multilinguality plays a significant role, with models translating from multiple languages into English having a larger number of effective parameters per task than their reversed counterparts. Finally, we leverage our observations to predict the performance of multilingual models trained with any language weighting at any scale, significantly reducing efforts required for language balancing in large multilingual models. Our findings apply to both in-domain and out-of-domain test sets and to multiple evaluation metrics, such as ChrF and BLEURT.

연구 동기 및 목표

• 모델 크기와 훈련 혼합 구성이 다국어 번역 성능에 어떻게 영향을 미치는지 이해하기.
• 언어 유사성이 다국어 모델의 스케일링 행동에 영향을 미치는지 조사하기.
• 다양한 모델 크기와 언어 가중치에서 성능을 예측할 수 있는 공동 스케일링 법칙을 개발하기.
• 언어 쌍당 효과적인 파rameter 할당을 정량화하고, 언어 유사성에 대해 그 안정성을 평가하기.
• 비용이 많이 드는 검색 없이도 대규모 다국어 모델에서 효율적인 작업 균형 조절을 가능하게 하기 위해 성능 트레이드오프를 예측하기.

제안 방법

• 20M에서 1B의 비임bedding 파라미터를 가진 다양한 언어 쌍에 대해 200개 이상의 MNMT 모델을 훈련한다.
• 도메인 내 및 도메인 외 테스트 세트에서 교차 엔트로피 손실, ChrF, BLEURT을 사용해 모델 성능을 분석한다.
• 공동 스케일링 법칙 제안: $ \mathcal{L}_i(N;\bm{p}) \approx \beta_{\bm{p},i} N^{-\alpha_{\bm{p},i}} + L_\infty^{(\bm{p},i)} $, 여기서 $ \bm{p} $ 는 혼합 가중치를 정의한다.
• 효과적인 파라미터 비율 $ f_i(N) $ 를 정의하여 언어 쌍 간에 용량이 어떻게 분배되는지 정량화한다.
• 효과적인 파라미터 비율 함수의 선형 근사를 사용해 다양한 모델 스케일에서의 성능 전면을 예측한다.
• 교차 엔트로피 외에도 일반화를 보장하기 위해 ChrF 및 BLEURT과 같은 자동 평가 지표를 활용해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 훈련 혼합물에서 언어 쌍의 가중치를 변경할 경우 다국어 모델의 스케일링 행동에 어떤 영향을 미치는가?
• RQ2 언어 유사성(예: 독일어-프랑스어 대비 독일어-중국어)이 다국어 번역에서 스케일링 지수나 불가피한 손실에 영향을 미치는가?
• RQ3 다국어 번역의 방향(예: XX→En 대비 En→XX)은 효과적인 파라미터 할당과 성능 스케일링에 어떤 영향을 미치는가?
• RQ4 공동 스케일링 법칙이 다양한 모델 크기와 언어 가중치에서 성능 트레이드오프를 정확히 예측할 수 있는가?
• RQ5 교차 엔트로피에 기반한 스케일링 법칙이 ChrF 및 BLEURT와 같은 생성 품질 지표로 일반화되는 정도는 어느 정도인가?

주요 결과

• 스케일링 지수 $ \alpha $ 와 불가피한 손실 $ L_\infty $ 는 훈련 혼합물의 언어 쌍 가중치 변화에 관계없이 일정하다.
• 고자원 언어 쌍에 대해서는 언어 유사성이 스케일링 행동에 거의 또는 전혀 영향을 미치지 않는다.
• 다양한 언어에서 영어로 번역하는 모델(XX→En)은 영어에서 다른 언어로 번역하는 모델(En→XX)보다 훨씬 높은 효과적인 파라미터 할당 비율을 달성한다.
• 공동 스케일링 법칙은 도메인 내 및 도메인 외 테스트 세트에서 교차 엔트로피와 ChrF, BLEURT와 같은 생성 품질 지표에 대해 성능 전면을 정확히 예측한다.
• 효과적인 파라미터 비율 함수의 선형 근사는 전체 성능 트레이드오프 전면을 매우 정확하게 예측하며, 그리드 서치 없이도 효율적인 작업 균형 조절을 가능하게 한다.
• 효과적인 파라미터 비율 $ f_i(N) $ 는 용량 할당을 안정적으로 캡처하며, 다양한 언어 쌍과 모델 크기 간에 안정성을 유지한다.