[논문 리뷰] Entropy Law: The Story Behind Data Compression and LLM Performance

Mingjia Yin, Chuhan Wu외 8명|arXiv (Cornell University)|2024. 07. 09.

Financial Distress and Bankruptcy Prediction인용 수 6

한 줄 요약

이 논문은 LLM 성능과 데이터 압축 비율 및 첫 번째 에폭 학습 손실 간의 엔트로피 법칙을 제시하고, 데이터 압축을 최소화하여 정보 이득을 최대화하는 모델 프리 데이터 선택 방법 ZIP를 제안합니다.

ABSTRACT

Data is the cornerstone of large language models (LLMs), but not all data is useful for model learning. Carefully selected data can better elicit the capabilities of LLMs with much less computational overhead. Most methods concentrate on evaluating the quality of individual samples in data selection, while the combinatorial effects among samples are neglected. Even if each sample is of perfect quality, their combinations may be suboptimal in teaching LLMs due to their intrinsic homogeneity or contradiction. In this paper, we aim to uncover the underlying relationships between LLM performance and data selection. Inspired by the information compression nature of LLMs, we uncover an ``entropy law'' that connects LLM performance with data compression ratio and first-epoch training loss, which reflect the information redundancy of a dataset and the mastery of inherent knowledge encoded in this dataset, respectively. Through both theoretical deduction and empirical evaluation, we find that model performance is negatively correlated to the compression ratio of training data, which usually yields a lower training loss. Based on the findings of the entropy law, we propose a quite efficient and universal data selection method named extbf{ZIP} for training LLMs, which aim to prioritize data subsets exhibiting a low compression ratio. Based on a multi-stage algorithm that selects diverse data in a greedy manner, we can obtain a good data subset with satisfactory diversity. Extensive experiments have been conducted to validate the entropy law and the superiority of ZIP across different LLM backbones and alignment stages. We also present an interesting application of entropy law that can detect potential performance risks at the beginning of model training.

연구 동기 및 목표

• 有限한 컴퓨팅 자원 하에서 데이터 정보 내용을 샘플 품질을 넘어서 검토하여 LLM 학습을 위한 데이터 선택의 학술적 동기를 제공합니다.
• 엔트로피 법칙을 통해 LLM 학습을 정보 압축 및 데이터 중복성과 이론적으로 연결합니다.
• 압축 비율에 의해 안내되는 효율적이고 보편적인 데이터 부분집합 선택 방법(ZIP)을 제안하여 유효한 정보를 최대화합니다.
• 여러 LLM 백본 및 정렬 단계에서 엔트로피 법칙 및 ZIP를 검증합니다.

제안 방법

• 데이터 압축 비율을 사전 압축 대비 후 압축 비트로 정의하여 데이터 밀도를 측정합니다.
• 압축 비율, 학습 손실, 데이터 일관성, 평균 데이터 품질과 모델 성능 간의 엔트로피 법칙을 도출합니다.
• 저압축, 다양한 정보 밀도 데이터를 선택하는 다단계 탐욕 알고리즘 ZIP를 제안합니다(전역적, 거친-로컬, 미세-로컬 단계 포함).
• CPU 전용의 모델 프리 데이터 선택을 사용한 SFT 및 RLHF 실험에서 ZIP를 구현하고 독점 평가자에 의존하지 않도록 합니다.
• MT-bench를 평가 지표로 사용하여 Mistral-7B와 Llama-3-8B에서 휴리스틱 및 모델 기반 기준선 대비 ZIP를 평가합니다.
• 압축 비율 및 학습 손실 분석을 통해 엔트로피 법칙의 경험적 검증을 제공합니다.

Figure 1 : An illustrative example describing different data selection paradigms. Quality-based data selection relies on sample-level data quality measurements while overlooking combinatorial effects among samples. Information-amount-based selection aims to select samples maximizing the overall info

실험 결과

연구 질문

• RQ1 샘플 품질이 일정하게 유지될 때 데이터 압축 비율이 높아질수록 모델 성능이 악화되는지 관계가 있나요?
• RQ2 저압축 비율(높은 정보 밀도)을 가진 데이터 부분집합이 고품질이지만 중복 가능성이 있는 샘플보다 LLM 학습에 더 큰 도움이 되나요?
• RQ3 ZIP가 기존 기준선과 비교해 다양한 LLM 백본 및 정렬 단계(SFT 및 RLHF)에서 효과적입니까?
• RQ4 엔트로피 법칙의 통찰이 모델 학습 초기 단계의 성능 위험을 예측할 수 있나요?

주요 결과

• 모델 성능은 학습 세트의 데이터 압축 비율과 음의 상관 관계를 보입니다.
• ZIP는 SFT 및 RLHF에서 Mistral-7B와 Llama-3-8B에 대해 기준선보다 우수합니다.
• ZIP는 모델 자유적이며 CPU에 효율적이며, 더 짧고 중복이 적은 샘플을 선정하되 MT-bench 점수는 비슷하거나 더 나은 편입니다.
• 엔트로피 법칙 곡선은 함께 학습 손실이 달라져도 압축 비율이 낮을 때 성능이 더 좋다는 것을 보이는 경향이 있습니다.
• 이 법칙은 점진적 학습 데이터 업데이트 중 잠재적 성능 위험을 조기에 탐지할 수 있게 해줍니다.
• 선정된 부분집합의 데이터 품질 점수는 방법 간에 비슷할 수 있어, 압축 기반 선택이 샘플 수준 품질만으로는 반영되지 않는 보완 정보를 포착함을 시사합니다.

(a) ZIP