Skip to main content
QUICK REVIEW

[论文解读] The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only

Guilherme Penedo, Quentin Malartic|arXiv (Cornell University)|Jun 1, 2023
Natural Language Processing TechniquesComputer Science被引用 156
一句话总结

仅 Web 的 RefinedWeb 产生的模型在零样本基准测试中可以超越人工筛选语料和 The Pile,达到 GPT-3 的水平,使用 5 trunk tokens 以及一个公开的 600B extract。

ABSTRACT

Large language models are commonly trained on a mixture of filtered web data and curated high-quality corpora, such as social media conversations, books, or technical papers. This curation process is believed to be necessary to produce performant models with broad zero-shot generalization abilities. However, as larger models requiring pretraining on trillions of tokens are considered, it is unclear how scalable is curation and whether we will run out of unique high-quality data soon. At variance with previous beliefs, we show that properly filtered and deduplicated web data alone can lead to powerful models; even significantly outperforming models from the state-of-the-art trained on The Pile. Despite extensive filtering, the high-quality data we extract from the web is still plentiful, and we are able to obtain five trillion tokens from CommonCrawl. We publicly release an extract of 600 billion tokens from our RefinedWeb dataset, and 1.3/7.5B parameters language models trained on it.

研究动机与目标

  • 调查是否仅使用网络数据,在经过适当的筛选和去重后,是否能实现与精选语料库相当或更优的零样本性能。
  • 将以网络为焦点的预训练流水线扩展到万亿级 tokens,以评估数据质量相对于传统精选来源。
  • 开发并公开高质量的 web 数据集(RefinedWeb)及一个公开提取以作为社区基线。
  • 评估筛选和去重阶段在多个尺度下对模型性能的影响。

提出的方法

  • 引入 MacroData Refinement (MDR) 以在极大规模上对 CommonCrawl 网络数据进行筛选和去重。
  • 应用严格的语言识别、URL 筛选、内容提取和逐行校正,将 RW-Raw 生成 RW-Filtered。
  • 使用模糊(MinHash)和精确(suffix array)方法进行大规模去重,并在不同转储之间进行 URL 去重。
  • 在 350B tokens 上训练自回归解码器模型(1B、3B、7B 参数);与 The Pile、C4、OSCAR 及 The Pile 等数据集进行比较。
  • 使用 EleutherAI 评估框架在广泛任务聚合(small, core, main, ext)上评估零样本性能。

实验结果

研究问题

  • RQ1能够在经过恰当筛选和去重的前提下,单独使用网页数据是否可以在零样本评估中达到或超越基于精选语料的模型?
  • RQ2每个 MDR 组件(筛选、去重)对零样本性能在各数据集上的影响是什么?
  • RQ3RefinedWeb 在不同模型尺度(1B、3B、7B)下,相对于 The Pile 和 GPT-3 基线的表现如何?
  • RQ4MDR 流水线在独立应用时是否能改进现有的预训练数据集?

主要发现

  • 在 RefinedWeb 上单独训练的模型在多种尺度的零样本准确性方面均超越了在精选语料和 The Pile 上训练的模型。
  • 对网页数据进行严格的筛选和去重可以达到 GPT-3 模型在其评估设置中的性能。
  • 在 1B 和 7B 参数、350GT 预训练下,基于 RefinedWeb 的模型在作者的评估框架内达到与 GPT-3 相当的性能。
  • 去重在所有数据集上持续提升零样本性能,而筛选的效果因数据源而异。
  • 作者发布了 RefinedWeb 的公开 600B-token 提取,并在 1B 与 7B 模型(350GT)上表现出强劲结果。
  • 将 MDR 应用于其他数据集也能带来改进,尤其是通过去重,即使筛选影响因数据源而异。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。