[论文解读] DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows

Ajay Patel, Colin Raffel+1 more|arXiv (Cornell University)|Feb 16, 2024

Scientific Computing and Data Management被引用 4

一句话总结

DataDreamer 是一个开源的 Python 库，可简化并标准化可复现的大语言模型（LLM）工作流程，包括合成数据生成、微调、指令微调和对齐。它使研究人员能够通过自动生成的可复现指纹、中间输出保存和与模型无关的抽象，构建、缓存并共享端到端的 LLM 流水线，显著提高了工作流程的可复现性，并减少了 LLM 研究中的技术债务。

ABSTRACT

Large language models (LLMs) have become a dominant and important tool for NLP researchers in a wide range of tasks. Today, many researchers use LLMs in synthetic data generation, task evaluation, fine-tuning, distillation, and other model-in-the-loop research workflows. However, challenges arise when using these models that stem from their scale, their closed source nature, and the lack of standardized tooling for these new and emerging workflows. The rapid rise to prominence of these models and these unique challenges has had immediate adverse impacts on open science and on the reproducibility of work that uses them. In this paper, we introduce DataDreamer, an open source Python library that allows researchers to write simple code to implement powerful LLM workflows. DataDreamer also helps researchers adhere to best practices that we propose to encourage open science and reproducibility. The library and documentation are available at https://github.com/datadreamer-dev/DataDreamer .

研究动机与目标

• 为解决基于 LLM 的研究工作流程中日益增长的可复现性挑战和缺乏标准化的问题，特别是涉及合成数据生成和模型微调的场景。
• 通过提供统一的、原生 Python 的 API 抽象模型提供商、硬件和分布式训练，降低实现多阶段 LLM 工作流程的技术复杂性。
• 通过在工作流程中内嵌可复现指纹、模型和数据卡片以及共享的中间输出等最佳实践，促进开放科学。
• 通过支持模型替换和环境无关的执行，确保工作流程在不同系统和 LLM 提供商之间保持可移植性和可重用性。
• 通过智能缓存和会话级输出文件夹中中间结果的可恢复性，最小化重复计算和碳足迹。

提出的方法

• DataDreamer 提供了一个标准化的 Python API，抽象了各种 LLM 提供商，包括开源模型和基于 API 的模型，支持无缝切换模型。
• 它实现了基于会话的缓存系统，用于存储中间输出、可复现指纹和配置元数据，以支持工作流程的精确重新执行。
• 该库支持在单个 Python 脚本中进行多阶段工作流程编排，用可组合、可版本化的步骤替代复杂的 shell 或脚本工作流。
• 它会自动生成合成数据卡片和模型卡片，以记录数据来源、许可信息和模型配置，降低污染风险。
• DataDreamer 集成 Hugging Face 数据集，并支持量化、适配器微调和多 GPU 训练，且代码样板极少。
• 它通过将所有输出组织到单个会话输出文件夹中，实现环境无关的执行，减少对本地路径和作业调度器的依赖。

实验结果

研究问题

• RQ1 研究人员如何能以更低的技术债务和更高的可复现性来实现复杂的多阶段 LLM 工作流程（如先生成合成数据再进行微调）？
• RQ2 哪些系统级抽象和实践可以提升基于 LLM 的研究的可复现性，特别是在使用封闭源或基于 API 的模型时？
• RQ3 一个统一的开源库在多大程度上可以减少 LLM 实验中对自定义脚本和基于 shell 的编排的需求？
• RQ4 缓存和可复现指纹在多大程度上能确保即使远程 API 不再可用，LLM 工作流程仍能保持可复现？
• RQ5 标准化元数据（如数据卡片、模型卡片）和共享的中间输出在哪些方面可以增强 LLM 研究的透明度和可扩展性？

主要发现

• DataDreamer 通过单一标准化的 Python 接口实现了端到端的 LLM 工作流程，包括合成数据生成、微调、指令微调和对齐，显著降低了实现复杂性。
• 该库基于会话的缓存系统即使在远程 API 模型不再可用的情况下，也能确保工作流程的完全可复现，保护结果和中间输出。
• 每个步骤都会自动生成可复现指纹，支持在不同研究人员或环境中对实验设置进行精确比较。
• 每个工作流程步骤的中间输出均以 Hugging Face 数据集格式保存，使其可检查、可共享，并可用于下游分析。
• 通过极少的代码更改即可实现模型替换，提升了可移植性，并减少了对特定 LLM 提供商或配置的依赖。
• 通过缓存和可恢复性最小化重复计算，DataDreamer 降低了迭代式 LLM 实验相关的计算浪费和碳排放。