[논문 리뷰] Data Management For Training Large Language Models: A Survey

Zige Wang, Wanjun Zhong외 7명|arXiv (Cornell University)|2023. 12. 04.

Topic Modeling인용 수 5

한 줄 요약

이 종합적이고 체계적인 검토는 대규모 언어 모델(Large Language Models, LLMs) 훈련을 위한 데이터 관리 전략을 다각도로 분석하며, 사전 훈련 및 지도적 미세조정 단계에서 데이터 양, 품질, 도메인 구성, 데이터 관리 시스템을 포함한다. 주요 전략을 규명하고 그 영향을 평가하며 향후 과제를 제시하여 효과적인 데이터 정제를 통한 LLM 훈련 최적화를 목표로 하는 연구자와 실무자에게 안내 자료로 기능한다.

ABSTRACT

Data plays a fundamental role in training Large Language Models (LLMs). Efficient data management, particularly in formulating a well-suited training dataset, is significant for enhancing model performance and improving training efficiency during pretraining and supervised fine-tuning stages. Despite the considerable importance of data management, the underlying mechanism of current prominent practices are still unknown. Consequently, the exploration of data management has attracted more and more attention among the research community. This survey aims to provide a comprehensive overview of current research in data management within both the pretraining and supervised fine-tuning stages of LLMs, covering various aspects of data management strategy design. Looking into the future, we extrapolate existing challenges and outline promising directions for development in this field. Therefore, this survey serves as a guiding resource for practitioners aspiring to construct powerful LLMs through efficient data management practices. The collection of the latest papers is available at https://github.com/ZigeW/data_management_LLM.

연구 동기 및 목표

• LLM 훈련에서 데이터 관리 전략 선택에 대한 체계적 분 析 부족 문제를 해결하기 위해, 특히 사전 훈련 및 지도적 미세조정 단계에 중점을 둔다.
• LLM 개발에서 데이터 정제 전략의 근거, 결과 및 평가 방법론을 명확히 하기 위해.
• 사전 훈련 및 미세조정 단계 전반에 걸쳐 데이터 양, 품질, 도메인/작업 구성 등의 데이터 관리 관행에 대한 체계적인 개요를 제공하기 위해.
• LLM를 위한 데이터 관리 분야에서 열려 있는 과제를 규명하고, 향후 연구 방향을 제안하기 위해.
• 효과적인 데이터 관리를 통해 강력한 LLM을 구축하고자 하는 연구자와 실무자에게 실용적이고 안내적인 자료로 기능하기 위해.

제안 방법

• 최근의 LLM 사전 훈련 및 지도적 미세조정에서의 데이터 관리에 관한 논문들을 체계적으로 검토하며, 데이터 양, 품질, 도메인 구성에 중점을 둔다.
• 데이터 관리 전략을 핵심 차원으로 분류하고 분석한다: 데이터 양(예: 스케일링 법칙, 반복), 데이터 품질(예: 중복 제거, 유해성 및 편향 필터링), 도메인 구성(예: 데이터셋 혼합, 전문화된 코퍼스).
• Data-Juicer 및 Oasis와 같은 데이터 관리 시스템을 평가하여 대규모 LLM 훈련을 위한 확장 가능하고 효율적인 데이터 처리 파이프라인을 지원한다.
• 지도적 미세조정에서 데이터 효율적 학습 기법(예: 데이터 선택, 커리큘럼 학습)을 검토하여 최소한의 데이터로 모델 성능을 향상시킨다.
• 벤치마크 평가 및 실험 연구의 결과를 통합하여 데이터 정제가 모델 성능 및 환각 현상 완화에 미치는 영향을 평가한다.
• GPT-3, Llama 2, Falcon 등 여러 LLM과 그 훈련 데이터 관행을 종합하여 일반화 가능한 데이터 관리 원칙을 도출한다.

실험 결과

연구 질문

• RQ1 LLM 사전 훈련 및 미세조정 단계에서 데이터 양을 최적화하기 위한 주요 데이터 관리 전략은 무엇이며, 이는 모델 성능과 훈련 효율성에 어떻게 영향을 미치는가?
• RQ2 중복 제거, 유해성 필터링, 편향 완화, 다양성 등 데이터 품질 요소가 미세조정된 LLM의 강건성과 신뢰성에 어떤 영향을 미치는가?
• RQ3 도메인 및 작업 구성은 사전 훈련 및 미세조정된 LLM의 능력을 어떻게 형성하는가? 최적의 혼합을 설계하기 위한 방법은 무엇인가?
• RQ4 데이터 관리 시스템은 대규모 LLM 훈련을 위한 확장 가능하고 효율적이며 재현 가능한 데이터 처리 파이프라인을 어떻게 지원하는가?
• RQ5 특히 환각 현상, 사회적 편향, 다중모odal 데이터 통합 측면에서 데이터 관리 분야의 열려 있는 과제와 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 데이터 양은 LLM 성능에 큰 영향을 미치며, 스케일링 법칙을 통해 더 많은 훈련 토큰이 모델 정확도 향상에 기여함을 보여주며, 특히 사전 훈련 단계에서 두드러진다.
• 중복 제거 및 품질 필터링(예: SemDeDup 또는 RefinedWeb 사용)은 데이터 중복을 줄이고, 특히 대규모 사전 훈련에서 모델 일반화 능력을 향상시킨다.
• 훈련 데이터에서의 유해성 및 사회적 편향 필터링은 유해한 출력을 감소시키고 공정성을 향상시키며, Longpre 등(2023b)의 방법은 모델 안전성 향상에 측정 가능한 기여를 보였다.
• 높은 품질의 지시 데이터셋은 인간의 애너테이션 또는 자기 지시(Self-Instruct) 방식을 통해 정제되어, 지시 따르기 능력 향상과 환각 감소에 기여한다.
• Data-Juicer 및 Oasis와 같은 데이터 관리 시스템은 효율적이고 확장 가능한 데이터 처리를 가능하게 하며, 필터링, 중복 제거, 데이터 증강과 같은 복잡한 변환을 지원한다.
• 지시 훈련에서의 다중모달 데이터 통합은 유망한 방향성을 보이며, 언어와 시각 데이터를 융합한 하이브리드 데이터셋은 다중모달 LLM의 성능 향상에 기여하지만, 스케일링 법칙과 작업 균형 유지를 위한 과제는 여전히 열려 있다.