[论文解读] ÜberWeb: Insights from Multilingual Curation for a 20-Trillion-Token Dataset

DatologyAI, :+33 more|arXiv (Cornell University)|Feb 16, 2026

Data Quality and Management被引用 0

一句话总结

论文表明特定语言的数据策划可提升多语言模型的性能与计算效率，在拥有 20T-token 精 curated 预训练语料和显著更少计算量的情况下，达到新的帕累托前沿并获得强大的多语言结果。

ABSTRACT

Multilinguality is a core capability for modern foundation models, yet training high-quality multilingual models remains challenging due to uneven data availability across languages. A further challenge is the performance interference that can arise from joint multilingual training, commonly referred to as the "curse of multilinguality". We study multilingual data curation across thirteen languages and find that many reported regressions are not inherent to multilingual scaling but instead stem from correctable deficiencies in data quality and composition rather than fundamental capacity limits. In controlled bilingual experiments, improving data quality for any single language benefits others: curating English improves non-English performance in 12 of 13 languages, while curating non-English yields reciprocal improvements in English. Bespoke per-language curation produces substantially larger within-language improvements. Extending these findings to large-scale general-purpose training mixtures, we show that curated multilingual allocations comprising under 8% of total tokens remain remarkably effective. We operationalize this approach within an effort that produced a 20T-token pretraining corpus derived entirely from public sources. Models with 3B and 8B parameters trained on a 1T-token random subset achieve competitive multilingual accuracy with 4-10x fewer training FLOPs than strong public baselines, establishing a new Pareto frontier in multilingual performance versus compute. Moreover, these benefits extend to frontier model scale: the 20T-token corpus served as part of the pretraining dataset for Trinity Large (400B/A13B), which exhibits strong multilingual performance relative to its training FLOPs. These results show that targeted, per-language data curation mitigates multilingual interference and enables compute-efficient multilingual scaling.

研究动机与目标

• 证明数据质量和定制的语言专属策划能够提升多语言模型的跨语言迁移能力。
• 证明英语数据质量的提升有利于非英语语言，反之亦然，挑战严格容量上限的观念。
• 阐明多语言策划在 60B-token 和前沿规模预训练下对计算效率和扩展性的影响。
• 提供一个实际、语言感知的策划框架，能够扩展到 20T-token 预训练及以上。

提出的方法

• 开展受控双语实验，使用 3B 参数模型在 60B tokens 上训练，以隔离数据质量效应。
• 为 13 种非英语语言加英语在内，开发语言特定的策划管线，包括过滤、基于嵌入的选择和合成数据生成。
• 使用多语言基准测试（Multilingual MMLU、Multilingual ARC、Belebele）及英语对照，进行零-shot、选择题评分和完形填空形式的评估。
• 组建一个完全来自公开来源的 20T-token 精选预训练语料库，并以 1T-token 的通用多语言混合数据训练 3B 和 8B 模型。
• 实现一个三阶段数据课程，逐步提高多语言标记密度，以研究可扩展性与帕累托效率。
• 与未策划基线和翻译增强基线进行对比，以量化数据质量与翻译的影响。

实验结果

研究问题

• RQ1 提高英语数据质量是否会提升多语言模型中非英语的表现？
• RQ2 提高非英语数据质量是否会提升英语的表现？
• RQ3 要达到最优的多语言表现，是否需要进行面向语言的定制化策划，而不仅仅是英语为中心的策略？
• RQ4 翻译质量如何影响多语言增益，若源数据质量高，翻译能否达到定制化策划的效果？
• RQ5 在大规模预训练中，是否可以通过多语言数据策划改变性能与计算的帕累托前沿？

主要发现

• 提升英语数据质量在 13 种语言的非英语表现上带来平均相对提升 3.91%。
• 提升非英语数据质量在英语评估上带来平均相对提升 1.21%。
• 面向语言的定制化策划在 60B tokens 条件下，对 3B 模型相较于未策划基线可实现最高 16.87% 的相对提升。
• 翻译的收益取决于源数据质量；对高质量、分数筛选过的英语数据进行翻译，收益大于随机翻译。
• 在约 1T-token 的训练预算下，约 8% 的多语言数据（在 13 种语言中约 80B tokens）即可取得强劲的多语言性能，相较强基线计算效率提升 4–10×。
• DatologyAI 模型在 20T-token 精选数据上预训练，定义了新的帕累托前沿，在远低于开放权重基线的计算量情况下达到具竞争力的多语言准确度。
• 多语言策划可扩展到前沿模型（如 Trinity Large），并在相对于训练 FLOPs 的情况下获得异常强的多语言表现。
• 语言与英语的相似度与英语策划的迁移增益相关，离英语越近的语言受益越大。