[논문 리뷰] Scaling Laws for Neural Machine Translation

Behrooz Ghorbani, Orhan Fırat외 6명|arXiv (Cornell University)|2021. 09. 16.

Natural Language Processing Techniques참고 문헌 33인용 수 19

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 인코더-디코더 트랜스포머 모델에 대해 이변량 스케일링 법칙을 제안하며, 교차 엔트로피 손실이 총 파라미터 수뿐만 아니라 인코더와 디코더의 파라미터 수에 의존한다는 것을 보여준다. 실험 결과, 테스트 세트가 원본 언어로 번역된(번역된)지 또는 목표 언어로 자연스러운(원본)지에 따라 스케일링 이점이 크게 다름을 확인하였으며, 원본 언어로 번역된 데이터에서는 손실 감소가 계속되더라도 BLEU 점수는 특정 모델 용량 이후에 정체됨을 발견하였다.

ABSTRACT

We present an empirical study of scaling properties of encoder-decoder Transformer models used in neural machine translation (NMT). We show that cross-entropy loss as a function of model size follows a certain scaling law. Specifically (i) We propose a formula which describes the scaling behavior of cross-entropy loss as a bivariate function of encoder and decoder size, and show that it gives accurate predictions under a variety of scaling approaches and languages; we show that the total number of parameters alone is not sufficient for such purposes. (ii) We observe different power law exponents when scaling the decoder vs scaling the encoder, and provide recommendations for optimal allocation of encoder/decoder capacity based on this observation. (iii) We also report that the scaling behavior of the model is acutely influenced by composition bias of the train/test sets, which we define as any deviation from naturally generated text (either via machine generated or human translated text). We observe that natural text on the target side enjoys scaling, which manifests as successful reduction of the cross-entropy loss. (iv) Finally, we investigate the relationship between the cross-entropy loss and the quality of the generated translations. We find two different behaviors, depending on the nature of the test data. For test sets which were originally translated from target language to source language, both loss and BLEU score improve as model size increases. In contrast, for test sets originally translated from source language to target language, the loss improves, but the BLEU score stops improving after a certain threshold. We release generated text from all models used in this study.

연구 동기 및 목표

• 인코더-디코더 NMT 모델이 디코더 전용 언어 모델과 동일한 단변량 스케일링 법칙을 따르는지 조사하기.
• 특히 원본 언어로 번역된(번역된) 대비 목표 언어로 자연스러운(원본) 텍스트인 훈련 및 평가 데이터의 구성이 모델 스케일링 행동에 미치는 영향을 이해하기.
• 교차 엔트로피 손실 향상이 BLEU 및 BLEURT로 측정된 생성 품질 향상으로 일관되게 이어지는지 검토하기.
• 스케일링 하에서 최대 성능을 내기 위해 인코더와 디코더 간 모델 용량 할당을 최적화하기.
• 합성 데이터(예: 백트랜슬레이션)가 스케일링 포화 및 모델 품질에 미치는 영향 평가하기.

제안 방법

• 두 개의 언어 쌍에 걸쳐 인코더와 디코더 크기를 다양하게 조절한 광범위한 인코더-디코더 트랜스포머 모델을 경험적으로 훈련하기.
• 교차 엔트로피 손실을 인코더 및 디코더 파라미터 수의 이변량 함수로 모델링하고, 거듭제곱 법칙 스케일링 공식을 적합시키기.
• 데이터 구성 효과를 평가하기 위해 원본 언어로 번역된(번역된) 및 목표 언어로 자연스러운(원본) 테스트 세트 모두에서 모델 평가하기.
• BLEU 및 BLEURT 점수를 사용해 생성 품질을 측정하고, 다양한 모델 스케일링 전략 간 추세 비교하기.
• 평가 중 일관된 디코딩을 보장하기 위해 고정된 초모수를 사용해 빔 서치를 수행하기.
• 교차 엔트로피 손실과 생성 지표 간의 관계를 분석하고, 다양한 데이터 환경에서의 분리점 식별하기.

실험 결과

연구 질문

• RQ1 인코더-디코더 NMT 모델의 교차 엔트로피 손실은 총 파라미터 수에 기반한 단변량 스케일링 법칙을 따르는가, 아니면 이변량 공식이 필요한가?
• RQ2 훈련 및 평가 세트에서 원본 언어 측과 목표 언어 측 텍스트의 자연스러움이 모델 스케일링 행동과 손실 감소에 어떻게 영향을 미치는가?
• RQ3 교차 엔트로피 손실 향상이 다양한 데이터 구성에서 일관되게 더 나은 BLEU 또는 BLEURT 점수로 이어지는가?
• RQ4 스케일링 하에서 번역 품질을 최대화하기 위해 인코더와 디코더 간 모델 용량 할당을 어떻게 해야 하는가?
• RQ5 백트랜슬레이션된(목표 언어로 자연스러운) 합성 데이터로 훈련하면 모델 성능의 포화점이 어떻게 영향을 받는가?

주요 결과

• 총 모델 파라미터 수에 기반한 단변량 스케일링 법칙은 NMT 손실을 설명하지 못하며, 인코더 및 디코더 파라미터 수의 이변량 함수가 훨씬 더 정확한 예측을 제공한다.
• 디코더 스케일링의 거듭제곱 법칙 지수는 인코더와 다름을 확인하여, 손실 감소에 기여하는 비대칭적 기여를 입증한다.
• 목표 언어로 자연스러운 평가 세트에서는 교차 엔트로피 손실이 모델 크기가 커짐에 따라 계속 감소하고, BLEURT 점수도 이에 따라 향상된다.
• 원본 언어로 번역된 평가 세트에서는 교차 엔트로피 손실은 크기가 커짐에 따라 향상되지만, BLEU 점수는 특정 모델 용량 이후에 정체되며, 이는 상관관계의 붕괴를 시사한다.
• 원본 언어로 번역된 데이터의 잔여 오차 영역은 중간 크기의 모델에서도 조기에 도달되며, 이는 이러한 데이터에서 스케일링의 이점이 제한적임을 시사한다.
• 백트랜슬레이션된(목표 언어로 자연스러운) 데이터로 훈련하면 스케일에 따라 성능 향상이 계속되지만, 원본 언어로 번역된 데이터로 훈련하면 조기에 포화 상태에 도달하며, 이는 번역어의 다양성 부족으로 인한 가능성이 있다.