[논문 리뷰] UniMax: Fairer and more Effective Language Sampling for Large-Scale Multilingual Pretraining

Hyung Won Chung, Noah Constant외 5명|arXiv (Cornell University)|2023. 04. 18.

Natural Language Processing Techniques인용 수 6

한 줄 요약

UniMax는 다국어 미사전연습에서 언어 간 훈련 토큰 분포를 공정하게 만들기 위해 각 언어의 최대 반복 수를 제한함으로써 저자원 언어에 대한 과적합을 줄이고 고자원 언어의 균일한 커버리지 유지하는 새로운 언어 샘플링 전략이다. 다양한 모델 규모와 벤치마크에서 표준 온도 기반 샘플링보다 우수한 성능을 보이며 일반화 능력 향상과 기억화 위험 감소를 동시에 달성한다.

ABSTRACT

Pretrained multilingual large language models have typically used heuristic temperature-based sampling to balance between different languages. However previous work has not systematically evaluated the efficacy of different pretraining language distributions across model scales. In this paper, we propose a new sampling method, UniMax, that delivers more uniform coverage of head languages while mitigating overfitting on tail languages by explicitly capping the number of repeats over each language's corpus. We perform an extensive series of ablations testing a range of sampling strategies on a suite of multilingual benchmarks, while varying model scale. We find that UniMax outperforms standard temperature-based sampling, and the benefits persist as scale increases. As part of our contribution, we release: (i) an improved and refreshed mC4 multilingual corpus consisting of 29 trillion characters across 107 languages, and (ii) a suite of pretrained umT5 model checkpoints trained with UniMax sampling.

연구 동기 및 목표

• 저자원 언어의 극단적인 데이터 부족으로 인한 다국어 미사전연습의 불균형 문제를 해결하기 위해.
• 표준 온도 기반 샘플링에서 저자원 언어 데이터의 과도한 반복으로 인한 과적합 및 기억화 위험을 완화하기 위해.
• 고자원 언어를 재우선순위 지정하지 않고도 균일한 언어 커버리지를 유지하면서도 확장 가능하고 계산 효율적인 샘플링 전략을 개발하기 위해.
• 다양한 모델 규모와 다국어 벤치마크에서 다양한 샘플링 전략의 영향을 평가하기 위해.
• UniMax로 훈련된 개선된 mC4 코퍼스와 미사전연습된 umT5 모델 체크포인트를 공개하여 보다 넓은 연구 활용을 위해.

제안 방법

• UniMax는 각 언어의 최대 반복 수(N)를 기준으로 저자원 언어에 대해 훈련 토큰을 사전 할당함으로써, 어떤 언어도 N번 이상의 훈련 에포크를 초과하지 않도록 보장한다.
• 남은 훈련 예산에 대해서는 모든 데이터가 충분한 언어에 대해 균일하게 토큰을 할당하며, 언어적 유용성을 우선시하고 분포 편향을 최소화한다.
• 이 방법은 언어별 데이터 반복 횟수를 명시적으로 제어함으로써 대규모 모델에서의 과적합과 기억화를 직접적으로 방지한다.
• 고정된 계산 예산(예: 1024 시퀀스 길이에서 100만 단계)을 제약 조건으로 삼아, 고정된 토큰 예산으로 훈련을 수행한다.
• 모델 확장성에 대해 강건하며, 모델 크기가 증가함에 따라 균형 잡힌 언어 커버리지를 유지한다.
• 온도 하이퍼파라미터에 의존하는 것을 피하기 위해, 반복 횟수에 대한 하드 캡을 도입한다.

실험 결과

연구 질문

• RQ1 언어별 반복 횟수를 제한함으로써 다국어 벤치마크에서 다운스트림 성능 향상이 이루어지는가?
• RQ2 다양한 모델 규모에서 UniMax는 일반화 능력과 과적합 측면에서 온도 기반 샘플링과 비교해 어떻게 성과를 내는가?
• RQ3 언어 간 훈련 토큰의 균일한 분포가 고자원 및 저자원 언어 양쪽에서 더 나은 성능을 이끌 수 있는가?
• RQ4 UniMax는 반복되는 저자원 언어 예제로 인한 기억화 위험을 어느 정도 감소시키는가?
• RQ5 mC4와 같은 새로 업데이트된 더 큰 다국어 코퍼스에 적용했을 때 이 방법은 어떻게 성능을 내는가?

주요 결과

• UniMax는 표준 온도 기반 샘플링(τ=3.33)보다 다국어 벤치마크에서 우수한 성능을 보이며, 다양한 모델 규모에서 지속적인 향상이 관찰된다.
• 저자원 언어의 과도한 반복을 줄이며, 예를 들어 유로바는 UniMax에서는 100번만 반복되지만, τ=3.33에서는 100번 이상 반복된다.
• 1× 훈련 예산에서 UniMax는 원자료 크기의 70배 차이가 나는 영어와 중국어에 동일한 훈련 토큰을 할당하여 저자원 언어에 대한 과적합을 방지한다.
• 논문과 함께 공개된 개선된 mC4 코퍼스는 107개 언어에 걸쳐 총 29조 자릿수의 문자를 포함하며, 새로 업데이트되고 더 균형 잡힌 다국어 데이터셋을 반영한다.
• UniMax 샘플링으로 훈련된 미사전연습 umT5 모델 체크포인트는 특히 저자원 언어에서 다국어 평가 과제에서 일관된 성능 향상을 보였다.
• 모델 확장성에 대해 강건하다: UniMax의 이점은 모델 크기가 증가함에 따라 유지되며, 이는 데이터 반복 횟수에 대한 명시적 제어 덕분이다.