[论文解读] Data-Juicer: A One-Stop Data Processing System for Large Language Models

Daoyuan Chen, Huang Yi-lun+11 more|arXiv (Cornell University)|Sep 5, 2023

Topic Modeling被引用 5

一句话总结

Data-Juicer 是一个面向大型语言模型（LLMs）的一站式、可扩展的数据处理系统，通过超过 50 个可组合的操作符，实现高效构建、评估与优化多样化数据配方。该系统支持可扩展、灵活且自动评估的数据流水线组合，并集成 LLM 训练与分布式计算生态系统，使 16 个 LLM 基准测试的平均性能提升达 7.45%，在 GPT-4 双样本评估中胜率提高 17.5%。

ABSTRACT

The immense evolution in Large Language Models (LLMs) has underscored the importance of massive, heterogeneous, and high-quality data. A data recipe is a mixture of data from different sources for training LLMs, which plays a vital role in LLMs' performance. Existing open-source tools for LLM data processing are mostly tailored for specific data recipes. To continuously uncover the potential of LLMs, incorporate data from new sources, and improve LLMs' performance, we build a new system named Data-Juicer, with which we can efficiently generate diverse data recipes, explore different possibilities in forming data mixtures, and evaluate their effects on model performance. Different from traditional data-analytics pipelines, Data-Juicer faces some unique challenges. Firstly, the possible data sources for forming data recipes are truly heterogeneous and massive with various qualities. Secondly, it is extremely expensive to precisely evaluate data recipes' impact on LLMs' performance. Thirdly, the end users of Data-Juicer, model developers, need sufficient flexibility to configure and evaluate different data recipes. Data-Juicer features a fine-grained abstraction of pipelines for constructing data recipes, with over 50 built-in operators for easy composition and extension. By incorporating visualization and auto-evaluation capabilities, Data-Juicer enables a timely feedback loop for both LLM pre-training and fine-tuning. Further, Data-Juicer is optimized and integrated with ecosystems for LLM training, evaluation, and distributed computing. The data recipes derived with Data-Juicer gain notable improvements on state-of-the-art LLMs, by up to 7.45% increase in averaged score across 16 LLM benchmarks and 17.5% higher win rate in pair-wise GPT-4 evaluations. Our system, data recipes, and tutorials are released, calling for broader data-centric research on training and understanding LLMs.

研究动机与目标

• 解决 LLM 训练与微调中缺乏灵活、可扩展且可伸缩的开源工具来处理异构、高质量数据配方的问题。
• 通过自动评估与可视化实现及时反馈，克服数据配方评估成本高、速度慢的挑战。
• 支持终端用户通过可定制的流水线高效探索多样化数据混合，提升通用任务与特定领域任务中的模型性能。
• 解耦数据处理组件以增强模块化与可组合性，实现与 LLM 训练、评估及分布式计算生态系统的无缝集成。

提出的方法

• Data-Juicer 引入了基于 50 多个内置、可组合操作符的细粒度数据处理流水线抽象，用于数据清洗、过滤、编辑与转换。
• 支持通过可配置超参数灵活组合操作符，使用户能够通过可定制的流水线配置探索多样化数据配方。
• 系统集成自动评估与可视化功能，可在无需完整模型微调的情况下及时反馈数据配方的影响。
• 原生优化并集成 LLM 训练、评估与分布式计算框架（如 Ray 和 Apache Beam）。
• 系统支持跨多个节点的可扩展数据处理，在分布式 Ray 集群上实现处理时间最高减少 87.4% 的性能提升。
• 通过定制化操作符组合，集成领域特定的数据处理能力，支持金融、阅读辅助与角色定制等应用场景。

实验结果

研究问题

• RQ1 如何设计一个模块化且可组合的数据处理系统，以支持 LLM 训练与微调中多样化、异构的数据源？
• RQ2 不同数据配方组合对 LLM 性能的影响如何？如何在不进行完整模型微调的情况下高效评估这些组合？
• RQ3 如何在大规模 LLM 数据流水线中实现高可扩展性与高性能的分布式数据处理？
• RQ4 统一的数据处理系统在多个基准测试与真实应用场景中，能在多大程度上提升模型性能？
• RQ5 如何在 LLM 数据配方开发中平衡易用性、可定制性与自动化？

主要发现

• Data-Juicer 支持创建的数据配方在 16 个标准 LLM 基准测试中实现了平均 7.45% 的性能提升。
• 在 GPT-4 双样本评估中，使用 Data-Juicer 数据配方训练的模型胜率相比基线配方高出 17.5%。
• 在使用 Ray 扩展至多个节点时，Data-Juicer 在 StackExchange 和 arXiv 数据集上分别实现最高 87.4% 和 84.6% 的处理时间减少。
• 在单台服务器上，Data-Juicer 的性能优于 Ray 和 Beam；在 Ray 上表现出与规模成比例的可扩展性，而 Beam 因 I/O 瓶颈导致性能几乎未提升。
• 该系统已成功集成至阿里巴巴云的工业级 LLM（包括 Dianjin、Zhiwen 和 Xingchen），在金融、阅读辅助与角色定制等场景中展现出实际应用价值。
• Data-Juicer 中的中文扩展质量分类器在数据保留率方面与原始英文 GPT-3 分类器相当，验证了跨语言一致性。