[论文解读] CLUECorpus2020: A Large-scale Chinese Corpus for Pre-training Language Model

Liang Xu, Xuanwei Zhang+1 more|arXiv (Cornell University)|Mar 3, 2020

Topic Modeling参考文献 11被引用 34

一句话总结

介绍 CLUECorpus2020，这是一个用于预训练语言模型的100 GB 大规模中文原始语料库，以及一个紧凑的词汇表和预训练模型；在中文NLP基准测试中展示出强劲表现并带来效率提升。

ABSTRACT

In this paper, we introduce the Chinese corpus from CLUE organization, CLUECorpus2020, a large-scale corpus that can be used directly for self-supervised learning such as pre-training of a language model, or language generation. It has 100G raw corpus with 35 billion Chinese characters, which is retrieved from Common Crawl. To better understand this corpus, we conduct language understanding experiments on both small and large scale, and results show that the models trained on this corpus can achieve excellent performance on Chinese. We release a new Chinese vocabulary with a size of 8K, which is only one-third of the vocabulary size used in Chinese Bert released by Google. It saves computational cost and memory while works as good as original vocabulary. We also release both large and tiny versions of the pre-trained model on this corpus. The former achieves the state-of-the-art result, and the latter retains most precision while accelerating training and prediction speed for eight times compared to Bert-base. To facilitate future work on self-supervised learning on Chinese, we release our dataset, new vocabulary, codes, and pre-trained models on Github.

研究动机与目标

• 提供一个适合用于预训练语言模型和生成的大规模高质量中文无标注语料库。
• 评估在 CLUECorpus2020 上训练对中文NLP任务在不同数据规模和词汇表下的影响。
• 提出并发布紧凑的中文词汇表（vocab_clue），并实现大模型和小型预训练模型以实现高效训练与推理。
• 展示使用预训练模型在相关中文NLP任务之间进行迁移学习的潜在收益。

提出的方法

• 从 Common Crawl 汇集一个 100 GB 的中文语料库，应用针对中文文本质量和去重的筛选规则。
• 定义一个适合预训练的格式（每行一条句子，每份文档空行一个），并选择训练/开发/测试划分（大致为 99:0.5:0.5）。
• 通过去除冗余标记并定制中英文分词，创建一个紧凑的词汇表（vocab_clue），尺寸为 8K。
• 在 CLUECorpus2020 上训练多种 BERT 风格模型，并使用 CLUE 基准任务与 Google 的词汇表及 Wiki/C5 基线进行比较。
• 尝试包括注意力机制变体（如一个 minus-and-multiplication 变体）以及大/小型预训练模型，以评估效率和准确性。
• 通过改变训练数据规模（1 GB、3 GB、100 GB）和训练步数，评估对性能的影响，并与基线进行比较。

实验结果

研究问题

• RQ1 在标准基准上，使用 CLUECorpus2020 进行预训练如何影响中文语言理解？
• RQ2 使用提出的 vocab_clue 与 Google 的原始词汇表对下游任务的影响是什么？
• RQ3 增加预训练数据量和训练步数对模型性能有何影响？
• RQ4 紧凑、高效的模型（tiny 变体）是否能够在显著提升推理与训练速度的同时保持竞争力？
• RQ5 跨相关中文任务的迁移学习是否提升了句子对任务的表现？

主要发现

• 在数据集上完全训练后，使用 CLUECorpus2020 训练的模型在中文基准上达到具有竞争力的或最先进的结果。
• 8K 的紧凑词汇表（vocab_clue）在下游表现上与更大词汇表相当，同时降低了参数量并加快了训练。
• CLUE 词汇表在与 Google 的词汇表相比时，提供了更快的训练速度（约 15.4% 的加速）且模型尺寸更小。
• 随着训练数据量的增加（从 1 GB 提升到 3 GB 或更多），通常在各任务上提升性能。
• 像 RoBERTa-tiny-clue 这样的 Tiny 变体在保留大部分精度的同时显著提升推理/训练速度（在某些设置中比 BERT-base 快约 8 倍）。
• 跨相关任务的迁移学习（如 CMNLI 到 AFQMC）可以提升句子对任务的表现。