[논문 리뷰] DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows

Ajay Patel, Colin Raffel외 1명|arXiv (Cornell University)|2024. 02. 16.

Scientific Computing and Data Management인용 수 4

한 줄 요약

DataDreamer는 합성 데이터 생성, 피니테이닝, 지시 테이닝, 어ライ어닝을 포함한 복잡한 대규모 언어 모델(LM) 워크플로우를 단순화하고 표준화하는 오픈소스 파이썬 라이브러리입니다. 연구자들이 자동 복제성 지문, 중간 출력 저장, 모델에 종속되지 않는 추상화를 통해 종단 간 LLM 워크플로우를 구축하고 캐시하며 공유할 수 있도록 하여, LLM 연구 분야의 워크플로우 복제성 향상과 기술 부채 감소에 기여합니다.

ABSTRACT

Large language models (LLMs) have become a dominant and important tool for NLP researchers in a wide range of tasks. Today, many researchers use LLMs in synthetic data generation, task evaluation, fine-tuning, distillation, and other model-in-the-loop research workflows. However, challenges arise when using these models that stem from their scale, their closed source nature, and the lack of standardized tooling for these new and emerging workflows. The rapid rise to prominence of these models and these unique challenges has had immediate adverse impacts on open science and on the reproducibility of work that uses them. In this paper, we introduce DataDreamer, an open source Python library that allows researchers to write simple code to implement powerful LLM workflows. DataDreamer also helps researchers adhere to best practices that we propose to encourage open science and reproducibility. The library and documentation are available at https://github.com/datadreamer-dev/DataDreamer .

연구 동기 및 목표

• 합성 데이터 생성 및 모델 피니테이닝을 포함한 LLM 기반 연구 워크플로우에서 점점 커지는 복제성 문제와 표준화 부족 문제를 해결하기 위해.
• 모델 공급자, 하드웨어, 분산 학습을 추상화하는 통합된 파이썬 네이티브 API를 제공함으로써, 다단계 LLM 워크플로우를 구현하는 기술적 복잡성을 줄이기 위해.
• 복제성 지문, 모델 및 데이터 카드, 공유 가능한 중간 출력을 워크플로우에 직접 통합하여 복제 가능성 있는 연구 관행을 장려함으로써 오픈 사이언스를 촉진하기 위해.
• 모델 교체와 환경에 종속되지 않는 실행을 가능하게 하여, 워크플로우가 다양한 시스템과 LLM 공급자 간에 이식 가능하고 재사용 가능하게 유지되도록 하기 위해.
• 세션 기반 출력 폴더에서 중간 결과의 스마트 캐싱과 재시작 가능성을 통해 재계산을 최소화하고 탄소 배출을 줄이기 위해.

제안 방법

• DataDreamer는 오픈소스 및 API 기반 모델을 포함한 다양한 LLM 공급자를 추상화하는 표준화된 파이썬 API를 제공하여, 모델 간 간편한 전환을 가능하게 합니다.
• 세션 기반 캐싱 시스템을 구현하여 중간 출력, 복제성 지문, 구성 메타데이터를 저장함으로써 정확한 워크플로우 재실행을 가능하게 합니다.
• 단일 파이썬 스크립트 내에서 다단계 워크플로우 오케스트레이션을 지원하여, 복잡한 쉘 또는 스크립트 기반 파이프라인 대신 구성 가능한, 버전 관리된 단계를 제공합니다.
• 데이터 기원, 라이선스, 모델 구성 정보를 문서화하기 위해 자동으로 합성 데이터 카드와 모델 카드를 생성하여 오염 위험을 감소시킵니다.
• Hugging Face 데이터셋과 통합되어 있으며, 정량화, 어댑터 튜닝, 다중 GPU 학습을 최소한의 반복 코드로 지원합니다.
• 모든 출력을 단일 세션 출력 폴더에 정리함으로써 환경에 종속되지 않는 실행을 가능하게 하여, 로컬 경로나 작업 스케줄러에 대한 의존도를 줄입니다.

실험 결과

연구 질문

• RQ1 연구자들이 합성 데이터 생성 후 피니테이닝을 포함한 복잡한 다단계 LLM 워크플로우를 더 복제 가능하고 기술 부채가 적게 드는 방식으로 어떻게 실행할 수 있을까요?
• RQ2 폐쇄소스 또는 API 기반 모델을 사용할 경우, LLM 기반 연구의 복제성을 향상시키기 위해 어떤 시스템 수준의 추상화와 관행이 유용할 수 있을까요?
• RQ3 통합된 오픈소스 라이브러리가 LLM 실험에서 커스터마이제이션 스크립트와 쉘 기반 오케스트레이션의 필요성을 얼마나 줄일 수 있을까요?
• RQ4 캐싱과 복제성 지문을 통해, 원격 API가 더 이상 사용 불가능해지더라도 LLM 워크플로우가 여전히 복제 가능하게 유지되는 정도는 어느 정도일까요?
• RQ5 표준화된 메타데이터(예: 데이터 카드, 모델 카드)와 공유 가능한 중간 출력은 LLM 연구의 투명성과 확장성 향상에 어떤 방식으로 기여할 수 있을까요?

주요 결과

• DataDreamer는 단일 표준화된 파이썬 인터페이스를 통해 합성 데이터 생성, 피니테이닝, 지시 테이닝, 어라이어닝을 포함한 종단 간 LLM 워크플로우를 제공하여, 구현 복잡성을 크게 감소시킵니다.
• 세션 기반 캐싱 시스템 덕분에 원격 API 모델이 더 이상 사용 불가능해져도 워크플로우의 완전한 복제성이 유지되어 결과와 중간 출력이 보존됩니다.
• 각 단계에 대해 자동으로 복제성 지문이 생성되어, 다양한 연구자나 환경 간 실험 설정을 정확히 비교할 수 있습니다.
• 각 워크플로우 단계의 중간 출력은 Hugging Face 데이터셋 형식으로 저장되어 검토 가능하고, 공유 및 후속 분석에 재사용 가능합니다.
• 최소한의 코드 변경으로 모델 교체가 가능하여 이식성 향상과 특정 LLM 공급자나 구성에 대한 의존도 감소를 달성합니다.
• 캐싱과 재시작 가능성을 통해 재계산를 최소화함으로써, 반복적인 LLM 실험과 관련된 컴퓨팅 낭비와 탄소 배출을 줄입니다.