[논문 리뷰] What Makes Good Data for Alignment? A Comprehensive Study of Automatic Data Selection in Instruction Tuning

Wei Liu, Weihao Zeng외 3명|arXiv (Cornell University)|2023. 12. 25.

Topic Modeling인용 수 14

한 줄 요약

논문은 지시 튜닝을 위한 데이터 품질을 분석하고, 복잡성, 품질, 다양성을 사용하여 수만 개의 데이터 포인트와 강한 정렬을 달성하는 데이터 효율적인 데이터 선택 방법 Deita를 도입한다.

ABSTRACT

Instruction tuning is a standard technique employed to align large language models to end tasks and user preferences after the initial pretraining phase. Recent research indicates the critical role of data engineering in instruction tuning -- when appropriately selected, only limited data is necessary to achieve superior performance. However, we still lack a principled understanding of what makes good instruction tuning data for alignment, and how we should select data automatically and effectively. In this work, we delve deeply into automatic data selection strategies for alignment. We start with controlled studies to measure data across three dimensions: complexity, quality, and diversity, along which we examine existing methods and introduce novel techniques for enhanced data measurement. Subsequently, we propose a simple strategy to select data samples based on the measurement. We present deita (short for Data-Efficient Instruction Tuning for Alignment), a series of models fine-tuned from LLaMA and Mistral models using data samples automatically selected with our proposed approach. Empirically, deita performs better or on par with the state-of-the-art open-source alignment models with only 6K SFT training data samples -- over 10x less than the data used in the baselines. When further trained with direct preference optimization (DPO), deita-Mistral-7B + DPO trained with 6K SFT and 10K DPO samples achieve 7.55 MT-Bench and 90.06% AlpacaEval scores. We anticipate this work to provide tools on automatic data selection, facilitating data-efficient alignment. We release our models as well as the selected datasets for future researches to effectively align models more efficiently.

연구 동기 및 목표

• 복잡성, 품질, 다양성의 세 가지 차원에 걸쳐 지시 튜닝에 적합한 데이터의 정의를 규정한다.
• 각 차원에 대한 자동 측정 기법을 개발하고 정렬 성능과의 상관관계를 평가한다.
• 이 측정치를 결합하여 데이터 효율성을 최대화하는 간단하고 실용적인 데이터 선택 전략을 제안한다.
• LLaMA-1/2 및 Mistral 백본에서 Deita의 효과를 오픈 소스 정렬 모델과 비교하여 시연한다.
• 데이터 및 모델 체크포인트를 공개하여 데이터 효율적 정렬 분야의 향후 연구를 촉진한다.

제안 방법

• 복잡성, 품질, 다양성의 세 가지 데이터 진단 차원을 도입하고 각 차원에 대한 평가 지표를 설계한다.
• 진화 기반 프로세스를 통해 Evol Complexity와 Evol Quality를 사용하여 데이터를 자동으로 생성하고 변형을 점수화한다.
• 가벼운 점수 분류기(lightweight scorers)를 학습시켜 지시로부터 복잡성/품질 점수를 예측하고, 이 점수를 합쳐 evol 점수를 만든다.
• 점수 우선, 다양성 인지 선택 전략을 적용하여 대규모 데이터 풀에서 작고 고품질의 다양성 있는 하위 집합을 선택한다.
• 선정된 데이터로 LLaMA-1-13B, LLaMA-2-13B, Mistral-7B를 미세조정하여 Deita 모델을 얻고; 원하면 Direct Preference Optimization (DPO)을 적용한다.
• MT-Bench, AlpacaEval, Open LLM Leaderboard에서 Deita를 기준 데이터 선택 방법 및 오픈 소스 SFT 모델과 비교한다.

실험 결과

연구 질문

• RQ1 어떤 데이터 속성(복잡성, 품질, 다양성)이 지시 준수 정렬 성능과 가장 강하게 상관관계가 있는가?
• RQ2 복잡성 및 품질의 자동적이고 확장 가능한 지표가 데이터 선택을 위한 비용이 많이 드는 인간 또는 GPT 기반 주석을 대체할 수 있는가?
• RQ3 점수 우선, 다양성 인지 데이터 선택 전략이 서로 다른 기본 모델과 데이터 풀에서 데이터 효율적 정렬을 가져오는가?
• RQ4 적은 데이터 예산(6K–10K)으로 훈련했을 때 Deita 모델이 최첨단 오픈 소스 정렬 모델과 비교하여 어떤 성능을 보이는가?
• RQ5 Deita-선정 데이터 위에 DPO를 적용했을 때의 영향은 무엇인가?

주요 결과

• Evol Complexity는 데이터 풀 전반에서 MT-Bench 성능을 일관되게 향상시키며 Random 및 Instag Diversity와 같은 기준선보다 우수한 성과를 보인다.
• Evol Quality는 MT-Bench 성능을 일관되게 개선하며 특히 Lew-rich 저품질 풀에서 두드러진 이득을 보이고, 높은 품질 분산에서 주목할 만한 이득을 보인다.
• 임베딩 기반 다양성(Repr Filter)이 Instag Diversity보다 우수하여 다양한 표현의 중요성을 강조한다.
• 6K–10K 데이터로 학습된 Deita 모델은 더 큰 SFT 기준선과 비교하여 MT-Bench 및 AlpacaEval 점수에서 경쟁력 있거나 우수한 성과를 달성한다; Deita-Mistral-7B 10K에 DPO를 적용하면 7.55 MT-Bench 및 90.06% AlpacaEval를 달성한다.
• Open LLM Leaderboard에서 Deita 변형은 대부분의 SFT 모델을 지속적으로 능가하고, DPO가 성능을 더욱 향상시킨다.
• Deita로의 학습은 훨씬 더 큰 데이터 사용과 거의 동등한 성능에 도달할 수 있으며, 경쟁 가능한 정렬을 위한 100배의 데이터 감소 가능성을 보여준다.