[논문 리뷰] ÜberWeb: Insights from Multilingual Curation for a 20-Trillion-Token Dataset

DatologyAI, :외 33명|arXiv (Cornell University)|2026. 02. 16.

Data Quality and Management인용 수 0

한 줄 요약

이 논문은 language-specific 데이터 큐레이션이 다중 언어 모델의 성능과 compute 효율성을 향상시키며, 20T-token 큐레이션 사전 학습 코퍼스와 훌륭한 다중 언어 결과를 훨씬 적은 compute로 달성하는 새로운 Pareto 경계(frontier)를 제시합니다.

ABSTRACT

Multilinguality is a core capability for modern foundation models, yet training high-quality multilingual models remains challenging due to uneven data availability across languages. A further challenge is the performance interference that can arise from joint multilingual training, commonly referred to as the "curse of multilinguality". We study multilingual data curation across thirteen languages and find that many reported regressions are not inherent to multilingual scaling but instead stem from correctable deficiencies in data quality and composition rather than fundamental capacity limits. In controlled bilingual experiments, improving data quality for any single language benefits others: curating English improves non-English performance in 12 of 13 languages, while curating non-English yields reciprocal improvements in English. Bespoke per-language curation produces substantially larger within-language improvements. Extending these findings to large-scale general-purpose training mixtures, we show that curated multilingual allocations comprising under 8% of total tokens remain remarkably effective. We operationalize this approach within an effort that produced a 20T-token pretraining corpus derived entirely from public sources. Models with 3B and 8B parameters trained on a 1T-token random subset achieve competitive multilingual accuracy with 4-10x fewer training FLOPs than strong public baselines, establishing a new Pareto frontier in multilingual performance versus compute. Moreover, these benefits extend to frontier model scale: the 20T-token corpus served as part of the pretraining dataset for Trinity Large (400B/A13B), which exhibits strong multilingual performance relative to its training FLOPs. These results show that targeted, per-language data curation mitigates multilingual interference and enables compute-efficient multilingual scaling.

연구 동기 및 목표

• 데이터 품질과 맞춤형 언어별 큐레이션이 다중 언어 모델의 교차 언어 전이 능력을 향상시킨다는 것을 Demonstrate한다.
• 영어 데이터 품질이 비영어권 언어에 이익을 주고 그 반대도 가능하며, 엄격한 용량 한계 개념에 도전한다는 사실을 보여준다.
• 다중 언어 큐레이션이 compute 효율성과 60B-token 및 frontier-scale 사전 학습에서의 확장성에 미치는 영향을 Illustrate한다.
• 실용적이고 언어 인식적인 큐레이션 프레임워크를 제공하여 20T-token 사전 학습 및 그 이상으로 확장 가능한 방안을 제시한다.

제안 방법

• 60B 토큰으로 학습된 3B 파라미터 모델을 이용한 통제된 이중언어 실험을 수행하여 데이터 품질 효과를 분리한다.
• 필터링, 임베딩 기반 선택, 합성 데이터 생성을 포함한 13개 비영어권 언어와 영어에 대한 언어별 큐레이션 파이프라인을 개발한다.
• 제로샷, 객관식 채점, 클로즈 형식의 평가를 통해 다중 언어 벤치마크(Multilingual MMLU, Multilingual ARC, Belebele)와 영어 대응 평가를 비교한다.
• 완전히 공개 소스로부터 도출된 20T-token 큐레이션 사전 학습 코퍼드를 구성하고 1T-token의 일반 다중 언어 혼합으로 3B 및 8B 모델을 학습한다.
• 확장성 및 Pareto 효율성을 연구하기 위해 점진적으로 다중 언어 토큰 밀도를 증가시키는 3단계 데이터 커리큘럼을 구현한다.
• 데이터 품질의 영향을 정량하기 위해 비큐레이션 기반 기준선과 번역 보강 기반 기준선을 비교한다

실험 결과

연구 질문

• RQ1 영어 데이터 품질을 개선하면 다중 언어 모델의 비영어 성능이 향상되는가?
• RQ2 비영어 데이터 품질을 개선하면 영어 성능이 향상되는가?
• RQ3 영어 중심 전략을 넘어서 최적의 다중 언어 성능을 달성하기 위해 언어별 맞춤 큐레이션이 필요한가?
• RQ4 번역 품질이 다중 언어 이익에 어떤 영향을 미치며, 원천 데이터가 고품질일 때 맞춤 큐레이션을 대체할 수 있는가?
• RQ5 대규모 사전 학습에서 다중 언어 데이터 큐레이션이 성능-컴퓨트 Pareto 프런티어를 이동시킬 수 있는가?

주요 결과

• 영어 데이터 품질 향상은 13개 언어에 걸친 비영어 성능에서 평균 3.91%의 상대적 개선을 가져온다.
• 비영어 데이터 품질 향상은 영어 평가에서 평균 1.21%의 상대적 개선을 가져온다.
• 언어별 맞춤 큐레이션은 60B 토큰으로 학습된 3B 모델에서 비큐레이션 기준선 대비 최대 16.87%의 상대적 개선을 제공한다.
• 번역의 이점은 원천 데이터 품질에 좌우되며, 점수 필터링된 고품질 영어 데이터를 번역하는 것이 무작위 번역보다 큰 이익을 낸다.
• 약 8%의 다중 언어 데이터(13개 언어를 아우르는 약 80B 토큰)와 함께 1T-token 학습 예산은 강력한 다중 언어 성능을 달성하고 강력한 기준선 대비 compute 효율성을 4–10배 향상시킨다.
• DatologyAI 모델은 20T-token 큐레이션 데이터에서 사전 학습되어 새로운 Pareto 프런티어를 정의하며, 공개 가중치 기준선과 비교할 때 더 적은 compute로도 경쟁력 있는 다중 언어 정확도를 달성한다.
• 다중 언어 큐레이션은 프런티어 모델(예: Trinity Large)까지 확장되며, 학습 FLOPs 대비 놀라울 정도로 강력한 다중 언어 성능을 제공합니다.
• 영어와의 언어적 유사성이 영어 큐레이션으로부터의 전이에 양의 상관관계를 보이며, closer한 언어일수록 더 큰 이익을 얻는다.