[논문 리뷰] When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale

Max Marion, Ahmet Üstün외 4명|arXiv (Cornell University)|2023. 09. 08.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 사전 훈련에서 데이터 프루닝을 대규모 스케일로 조사하며, 복잡한 메트릭(예: EL2N, 기억성)보다 간단한 퍼플렉서티 기반 순위 매기기가 더 우수한 성능을 낸다는 것을 제안한다. 놀랍게도, 퍼플렉서티 기반으로 선택된 원본 데이터의 30%만으로도 더 복잡한 방법으로 프루닝한 모델보다 최대 2.1% 높은 성능을 달성하였다. 이는 품질을 양보다 우선시할 경우, 더 적은 데이터로도 더 좋은 결과를 낼 수 있음을 보여준다.

ABSTRACT

Large volumes of text data have contributed significantly to the development of large language models (LLMs) in recent years. This data is typically acquired by scraping the internet, leading to pretraining datasets comprised of noisy web text. To date, efforts to prune these datasets down to a higher quality subset have relied on hand-crafted heuristics encoded as rule-based filters. In this work, we take a wider view and explore scalable estimates of data quality that can be used to systematically measure the quality of pretraining data. We perform a rigorous comparison at scale of the simple data quality estimator of perplexity, as well as more sophisticated and computationally intensive estimates of the Error L2-Norm and memorization. These metrics are used to rank and prune pretraining corpora, and we subsequently compare LLMs trained on these pruned datasets. Surprisingly, we find that the simple technique of perplexity outperforms our more computationally expensive scoring methods. We improve over our no-pruning baseline while training on as little as 30% of the original training dataset. Our work sets the foundation for unexplored strategies in automatically curating high quality corpora and suggests the majority of pretraining data can be removed while retaining performance.

연구 동기 및 목표

• 데이터 프루닝이 더 높은 품질의 훈련 예제를 선택하는 방식으로 LLM 성능을 향상시킬 수 있는지 평가하는 것.
• LLM 사전 훈련에서 단순한 품질 추정기(퍼플렉서티)와 복잡한 메트릭(EL2N, 기억성) 간의 효과성을 비교하는 것.
• 거대한 웹 스크래핑 데이터셋에서 영향력이 낮은 예제를 제거하면 데이터 양을 줄이면서도 모델 성능을 향상시킬 수 있는지 조사하는 것.
• 인간 레이블 기반 품질 레이블에 의존하지 않고도 고품질 코퍼스를 체계적으로 정제할 수 있는 확장 가능한 자동화 프레임워크를 구축하는 것.
• 프루닝 전략이 다양한 모델 크기, 데이터셋, 훈련 단계에서 모델 일반화 능력에 어떻게 영향을 미치는지 이해하는 것.

제안 방법

• 저자는 사전 훈련 데이터셋 내 각 시퀀스에 대해 기준 LLM을 사용해 퍼플렉서티, EL2N, 기억성 점수를 계산한다.
• 이 점수를 기반으로 모든 훈련 시퀀스를 순위 매기며, 상위, 중간, 하위 퍼센티지(10%, 30%, 50%, 70%)를 유지한다.
• 기존의 하이퍼파라미터를 그대로 사용해 프루닝된 데이터셋에서 새 LLM을 처음부터 피지컬 훈련한다.
• 이 방법은 여러 모델 크기(124M에서 1.5B 파라미터), 여러 사전 훈련 데이터셋, 다양한 총 훈련 스텝에 적용된다.
• 테스트 세트 퍼플렉서티와 다운스트림 GLUE 벤치마크 결과를 통해 성능을 평가한다.
• 이 프레임워크를 통해 다양한 데이터 서브셋과 모델 설정 간의 프루닝 전략을 체계적으로 비교할 수 있다.

Figure 1 : Demonstration of our pruning methodology.For each sequence $z_{i}$ , sized equally as the model’s context length, a pruning algorithm $\xi$ generates score $s_{i}$ . We then choose which subset of the distribution of scores to keep: bottom, middle, or top. Finally, a new model is pretrain

실험 결과

연구 질문

• RQ1 자동화된 품질 추정기 기반 데이터 프루닝이 전체 데이터셋으로 훈련하는 것보다 LLM 성능을 향상시킬 수 있는가?
• RQ2 복잡한 계산 비용이 많이 드는 메트릭(예: EL2N, 기억성)보다 단순한 퍼플렉서티 기반 프루닝 방법이 더 우수한 성능을 낼 수 있는가?
• RQ3 데이터 서브셋 선택(상위, 중간, 하위 점수)이 다양한 모델 크기와 훈련 데이터 볼륨에서 모델 성능에 어떻게 영향을 미치는가?
• RQ4 프루닝이 GLUE와 같은 벤치마크에서의 다운스트림 일반화 능력을 유지하거나 향상시키는가?
• RQ5 품질 추정에 기반해 상당한 데이터 감소(예: 70% 감소)를 이룰 경우 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• 모든 모델 크기와 데이터 볼륨에서 퍼플렉서티 기반 프루닝이 EL2N 및 기억성 기반 프루닝을 모두 초월했다.
• 원본 데이터의 30%만으로 훈련한 퍼플렉서티 기반 프루닝 모델이 가장 우수한 EL2N 프루닝 모델보다 테스트 퍼플렉서티에서 2.1% 향상되었고, 기억성 기반 프루닝 모델보다는 1.6% 향상되었다.
• 50%의 데이터만으로도 퍼플렉서티 기반 프루닝 모델이 전체 기준 모델보다 1.33% 높은 성능을 보였으며, EL2N 및 기억성 기반 모델보다는 각각 1.77% 높았다.
• 모델 크기(124M에서 1.5B 파라미터)에 관계없이 프루닝의 성능 향상 효과가 일관되었으며, 이는 접근법의 확장성을 시사한다.
• 가장 낮은 퍼플렉서티(가장 쉬운) 예제를 프루닝하면 성능이 악화되어 '가장 쉬운' 데이터가 사전 훈련에 최적임을 시사하지 못한다.
• 퍼플렉서티 기반 프루닝을 통해 반만 되는 데이터로도 테스트 퍼플렉서티에서 1% 향상된 결과를 달성하여 높은 데이터 효율성을 입증했다.

Figure 2 : The effect of employing reference models of different sizes on the computation of pruning perplexity scores and its subsequent influence on test set perplexity. The three subset selection approaches for each set of experiments are showcased separately (keeping bottom , middle , or top of