[논문 리뷰] How Robust is Neural Machine Translation to Language Imbalance in Multilingual Tokenizer Training?

Shiyue Zhang, Vishrav Chaudhary외 5명|arXiv (Cornell University)|2022. 04. 29.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 다국어 토크나이저 훈련 중 언어 불균형에 대한 신경 기계 번역(NMT)의 내성에 대해 조사한다. 연구 결과, 언어가 스크립트를 공유할 경우 NMT 성능이 예상보다 더 견고한 것으로 나타났으며, 이는 UNK 비율과 문자 수준에 가까운 정도라는 두 가지 조기 경고 지표를 제공한다. 연구는 토크나이저 훈련 시 언어 데이터의 균형을 맞추고, 사전 훈련된 토크나이저를 최종 사용 전에 이 지표들을 활용해 평가할 것을 제안한다.

ABSTRACT

A multilingual tokenizer is a fundamental component of multilingual neural machine translation. It is trained from a multilingual corpus. Since a skewed data distribution is considered to be harmful, a sampling strategy is usually used to balance languages in the corpus. However, few works have systematically answered how language imbalance in tokenizer training affects downstream performance. In this work, we analyze how translation performance changes as the data ratios among languages vary in the tokenizer training corpus. We find that while relatively better performance is often observed when languages are more equally sampled, the downstream performance is more robust to language imbalance than we usually expected. Two features, UNK rate and closeness to the character level, can warn of poor downstream performance before performing the task. We also distinguish language sampling for tokenizer training from sampling for model training and show that the model is more sensitive to the latter.

연구 동기 및 목표

• 다국어 토크나이저 훈련에서의 언어 불균형이 최종 NMT 성능에 미치는 영향을 체계적으로 평가하는 것.
• 토크나이저 훈련 및 모델 훈련을 위한 언어 샘플링 전략이 번역 품질에 미치는 영향이 다를 수 있는지 확인하는 것.
• 완전한 훈련을 실행하지 않고도 낮은 성능을 예측할 수 있는 조기 및 중간 단계 지표(예: UNK 비율, 문자 수준에 가까운 정도)를 식별하는 것.
• 저자원 언어에서의 성능 저하를 방지하기 위해 다국어 토크나이저의 훈련 및 평가에 실용적인 권고를 제공하는 것.

제안 방법

• 저자들은 토크나이저 훈련 코퍼스에서 여덟 가지 언어(영어, 타갈로그어, 아이슬란드어, 덴마크어, 인도네시아어, 타밀어, 그리스어, 중국어) 간 데이터 비율을 다양화하면서 모델 훈련 샘플링은 고정한다.
• 온도 기반 샘플링을 사용하여 토크나이저 훈련 데이터의 언어 비율을 제어하며, 지수 인자 S = 0, 0.3, 및 1.0을 사용한다.
• 이중 및 다국어 설정에서 spBLEU 점수를 사용하여 번역 성능을 평가하며, 다수의 랜덤 시드와 아블레이션 연구를 실시한다.
• 두 가지 중간 특징을 계산한다: UNK 비율(문장당 평균 미지 토큰 비율)과 문자 수준에 가까운 정도(평균 서브워드 길이를 문자 길이로 나눈 값).
• 다른 요소를 고정하면서 토크나이저 훈련과 모델 훈련에서 언어 불균형의 영향을 분리하여 비교한다.
• 다양한 다국어 데이터셋에서 실험를 수행하였으며, 이중 설정에서는 1,890번, 다국어 설정에서는 31번의 아블레이션을 실시하였으며, 최대 64개의 GPU를 사용하였다.

실험 결과

연구 질문

• RQ1 다국어 토크나이저 훈련에서 언어 불균형은 최종 NMT 번역 성능에 어떤 영향을 미치는가?
• RQ2 UNK 비율과 문자 수준에 가까운 정도는 낮은 성능을 조기에 예측하는 데 신뢰할 수 있는 지표가 될 수 있는가?
• RQ3 NMT는 모델 훈련에서의 언어 불균형에 더 민감한가, 아니면 토크나이저 훈련에서인가?
• RQ4 토크나이저 훈련에 가장 적합한 언어 샘플링 전략은 무엇이며, 이는 모델 훈련 전략과 다를 수 있는가?
• RQ5 적절한 토크나이저 품질을 나타내는 UNK 비율과 문자 수준에 가까운 정도에 대한 실용적 임계값을 설정할 수 있는가?

주요 결과

• 언어가 스크립트를 공유할 경우, 토크나이저 훈련에서의 언어 불균형에 대한 NMT 성능은 이전에 예상한 것보다 훨씬 견고하며, 극단적인 비율(예: 1:100,000)일 때만 심각한 성능 저하가 발생한다.
• 언어가 토크나이저 훈련 데이터에서 더 균형 잡혀 있을수록 일관되게 높은 번역 성능가 관찰되었으며, 균형과 성능 사이에 중간 정도의 피어슨 상관계수(r ≈ 0.5–0.7)가 존재한다.
• 영어는 다른 언어의 단일 언어 데이터에서 자주 공존하기 때문에 불균형에 매우 강건하며, 실제로는 기근에 걸릴 가능성이 거의 없다.
• 두 가지 중간 특징인 UNK 비율과 문자 수준에 가까운 정도는 최종 성능을 강력하게 예측하는 데 유용하며, 약 3.7%의 UNK 비율과 약 0.87의 문자 수준에 가까운 정도가 허용 가능한 품질을 나타내는 임계값으로 작용한다.
• NMT는 모델 훈련에서의 언어 불균형에 토크나이저 훈련보다 훨씬 민감하게 반응하므로, 모델 수준의 샘플링 전략에 더 많은 주의를 기울여야 한다.
• 연구는 토크나이저 훈련 시 균형 잡힌 언어 비율을 사용하고, 사전 훈련된 토크나이저를 배포하기 전에 제안된 두 가지 특징을 활용해 검증할 것을 권고한다.