[论文解读] Data Management For Training Large Language Models: A Survey

Zige Wang, Wanjun Zhong+7 more|arXiv (Cornell University)|Dec 4, 2023

Topic Modeling被引用 5

一句话总结

本综述对训练大语言模型（LLMs）的数据管理实践进行了全面、系统的分析，涵盖预训练和监督微调阶段的数据量、质量、领域构成以及数据管理系统。它识别出关键策略，评估其影响，并概述了未来挑战，为希望借助有效数据整理优化 LLM 训练的从业者提供指导性资源。

ABSTRACT

Data plays a fundamental role in training Large Language Models (LLMs). Efficient data management, particularly in formulating a well-suited training dataset, is significant for enhancing model performance and improving training efficiency during pretraining and supervised fine-tuning stages. Despite the considerable importance of data management, the underlying mechanism of current prominent practices are still unknown. Consequently, the exploration of data management has attracted more and more attention among the research community. This survey aims to provide a comprehensive overview of current research in data management within both the pretraining and supervised fine-tuning stages of LLMs, covering various aspects of data management strategy design. Looking into the future, we extrapolate existing challenges and outline promising directions for development in this field. Therefore, this survey serves as a guiding resource for practitioners aspiring to construct powerful LLMs through efficient data management practices. The collection of the latest papers is available at https://github.com/ZigeW/data_management_LLM.

研究动机与目标

• 为解决 LLM 训练中数据管理策略选择缺乏系统性分析的问题，特别是预训练和监督微调阶段的问题。
• 阐明 LLM 开发中数据整理策略的原理、后果及评估方法。
• 对预训练和微调阶段的数据管理实践（包括数据量、质量及领域/任务构成）提供结构化概述。
• 识别开放挑战，并提出数据管理领域有前景的未来研究方向。
• 为希望借助有效数据管理构建强大 LLM 的研究人员和从业者提供实用且具有指导意义的资源。

提出的方法

• 本综述对近期关于 LLM 预训练和监督微调阶段数据管理的研究工作进行了系统性文献回顾，重点关注数据量、质量和领域构成。
• 将数据管理策略按关键维度进行分类与分析：数据量（如缩放定律、重复处理）、数据质量（如去重、毒性与偏见过滤）以及领域构成（如数据集混合、专用语料库）。
• 评估了 Data-Juicer 和 Oasis 等数据管理系统的性能，这些系统支持 LLM 训练中可扩展且高效的处理流水线。
• 研究了监督微调中的数据高效学习技术，包括数据选择和课程学习，以在最小数据量下提升模型性能。
• 整合基准评估和实证研究的发现，以评估数据整理对模型性能及幻觉缓解的影响。
• 综合分析多个 LLM（如 GPT-3、Llama 2、Falcon）及其训练数据实践，提炼出可推广的数据管理原则。

实验结果

研究问题

• RQ1 在 LLM 预训练和微调阶段，优化数据量的关键数据管理策略是什么？它们如何影响模型性能和训练效率？
• RQ2 数据质量因素（如去重、毒性过滤、偏见缓解和多样性）如何影响微调后 LLM 的鲁棒性和可靠性？
• RQ3 领域和任务构成在塑造预训练和微调 LLM 能力方面发挥什么作用？如何设计最优的混合数据？
• RQ4 数据管理系统如何实现大规模 LLM 训练中可扩展、高效且可复现的数据处理流水线？
• RQ5 在数据管理领域，特别是在幻觉、社会偏见和多模态数据融合方面，存在哪些开放挑战和有前景的未来研究方向？

主要发现

• 数据量显著影响 LLM 性能，缩放定律表明，随着训练 token 数量的增加，模型准确率提升，尤其在预训练阶段更为明显。
• 去重和质量过滤（如使用 SemDeDup 或 RefinedWeb）可减少数据冗余并提升模型泛化能力，尤其在大规模预训练中效果显著。
• 对训练数据中的毒性与社会偏见进行过滤可减少有害生成，提升模型公平性，Longpre 等人（2023b）的方法已显示出可衡量的安全性提升。
• 通过人工标注或自我指令（如 Self-Instruct）精心构建的高质量指令数据集，可显著提升微调模型的指令遵循能力，并减少幻觉现象。
• Data-Juicer 和 Oasis 等数据管理系统支持高效、可扩展的数据处理，可实现复杂转换操作，如过滤、去重和数据增强。
• 在指令微调中整合多模态数据展现出潜力，混合语言与视觉的多模态数据集可提升多模态 LLM 的性能，但缩放定律和任务平衡问题仍是开放挑战。