[논문 리뷰] On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey

Lin Long, Rui Wang외 5명|arXiv (Cornell University)|2024. 06. 14.

Scientific Computing and Data Management인용 수 4

한 줄 요약

이 종합 검토는 LLM 기반 합성 데이터 생성, 정제, 평가를 위한 통합 프레임워크를 제시하며, 기존 방법들을 일관된 워크플로우로 정리한다. 데이터 품질, 다양성, 평가의 철저함 측면에서 핵심적인 격차를 밝히며, 데이터 중심 AI 분야의 연구 및 산업 응용을 발전시키기 위한 체계적이고 철저한 접근 방식을 주장한다.

ABSTRACT

Within the evolving landscape of deep learning, the dilemma of data quantity and quality has been a long-standing problem. The recent advent of Large Language Models (LLMs) offers a data-centric solution to alleviate the limitations of real-world data with synthetic data generation. However, current investigations into this field lack a unified framework and mostly stay on the surface. Therefore, this paper provides an organization of relevant studies based on a generic workflow of synthetic data generation. By doing so, we highlight the gaps within existing research and outline prospective avenues for future study. This work aims to shepherd the academic and industrial communities towards deeper, more methodical inquiries into the capabilities and applications of LLMs-driven synthetic data generation.

연구 동기 및 목표

• 현재 분산되어 있고 표면적인 LLM 기반 합성 데이터 연구에 통합 프레임워크가 부족한 문제를 해결하기 위해.
• 생성, 정제, 평가의 일관된 워크플로우로 연구를 체계화하여 현재의 경계를 정리하기 위해.
• 강력한 모델 훈련 및 배포를 저해하는 데이터 품질, 다양성, 평가 관행의 핵심 격차를 부각하기 위해.
• 학계 및 산업계가 NLP 및 그 외 분야에서 합성 데이터를 더 체계적이고 효과적으로 활용하도록 이끌기 위해.
• 딥 러닝에서 인간 레이블링 데이터의 확장 가능하고 제어 가능하며 고품질의 대안으로 합성 데이터 사용을 촉진하기 위해.

제안 방법

• 일반화된 세 단계 워크플로우인 합성 데이터 생성, 정제, 평가를 제안하여 기존 연구에 통합적 기반을 제공한다.
• 프롬프트 엔지니어링, 희소 프롬프팅, 사고의 사슬 프롬프팅, 자기 일관성 기법을 기반으로 기존 방법을 분류하고 분석한다.
• 필터링, 정련, 활성 학습을 포함한 데이터 정제 전략의 분류 체계를 도입하여 데이터 품질 향상과 편향 감소를 도모한다.
• 유창성과 작업별 성능을 평가하는 평가 프rotocol를 검토하며, 벤치마크 데이터셋에서의 제로샷 및 희소샷 일반화 성능을 포함한다.
• 특정 최종 작업을 위한 제어 가능한 데이터 생성을 가능하게 하는 지시어 따르기 능력의 역할을 강조한다.
• LLM이 생성자 외에도 평가자 및 정제자로 기능할 수 있음을 분석하여 최소한의 인간 간섭으로도 종단 간 합성 데이터 파이프라인을 가능하게 한다.

실험 결과

연구 질문

• RQ1 체계적인 LLM 기반 합성 데이터 파이프라인의 핵심 구성 요소와 단계는 무엇이며, 이를 일관된 프레임워크로 통합하는 방법은 무엇인가?
• RQ2 기존 방법들은 다양한 NLP 작업 및 도메인에서 합성 데이터의 높은 정확성과 충분한 다양성을 어떻게 확보하는가?
• RQ3 현재 합성 데이터 평가 관행의 핵심 한계는 무엇이며, 실제 모델 성능을 반영하기 위해 어떻게 개선할 수 있는가?
• RQ4 LLM은 생성 외에도 합성 데이터셋의 정제 및 평가에 어떻게 활용될 수 있는가?
• RQ5 데이터 중심 AI에서 합성 데이터의 가장 유망한 응용 및 향후 연구 방향은 무엇이며, 특히 자원이 부족하거나 편향이 심한 상황에서 어떻게 활용될 수 있는가?

주요 결과

• Hugging Face에 이미 300개 이상의 데이터셋이 '합성'으로 태그되어 있어, 주류 LLM 훈련 파이프라인에 널리 통합되고 있음을 시사한다.
• Alpaca, Vicuna, OpenHermes 2.5, OpenChat 3.5와 같은 LLM 생성 데이터셋은 피너튜닝 및 사전 훈련의 기초로 자리 잡으며 실제 적용 가능성의 증거를 보여준다.
• 진전이 있었음에도 불구하고, 많은 접근 방식이 접근 가능한 LLM에 의존하고 있으며, 블랙박스 모델과의 활용에 대한 탐색은 제한적이므로 핵심 연구 격차로 남아 있다.
• 합성 데이터 생성은 필터링 및 정련과 같은 정제 기법과 결합될 때 가장 효과적이며, 이는 데이터 품질 향상과 편향 감소에 크게 기여한다.
• ToolBench, TruthfulQA, MATH와 같은 평가 벤치마크는 데이터 품질과 다양성을 철저히 관리할 경우, 합성 데이터로 훈련된 모델이 뛰어난 성능을 낼 수 있음을 보여준다.
• 본 연구는 표준화된 평가 프로토콜가 필요하며, 합성 데이터 특성과 최종 작업 요구사항 간의 보다 나은 일치가 이루어져야만 강건성과 공정성을 확보할 수 있음을 규명한다.