[論文レビュー] Entropy Law: The Story Behind Data Compression and LLM Performance

Mingjia Yin, Chuhan Wu+8 more|arXiv (Cornell University)|Jul 9, 2024

Financial Distress and Bankruptcy Prediction被引用数 6

ひとこと要約

本論文は、LLMの性能とデータ圧縮率および初 epoch の訓練損失を結ぶエントロピー法を導入し、情報利得を最大化する圧縮を最小化するモデルフリーのデータ選択手法ZIPを提案する。

ABSTRACT

Data is the cornerstone of large language models (LLMs), but not all data is useful for model learning. Carefully selected data can better elicit the capabilities of LLMs with much less computational overhead. Most methods concentrate on evaluating the quality of individual samples in data selection, while the combinatorial effects among samples are neglected. Even if each sample is of perfect quality, their combinations may be suboptimal in teaching LLMs due to their intrinsic homogeneity or contradiction. In this paper, we aim to uncover the underlying relationships between LLM performance and data selection. Inspired by the information compression nature of LLMs, we uncover an ``entropy law'' that connects LLM performance with data compression ratio and first-epoch training loss, which reflect the information redundancy of a dataset and the mastery of inherent knowledge encoded in this dataset, respectively. Through both theoretical deduction and empirical evaluation, we find that model performance is negatively correlated to the compression ratio of training data, which usually yields a lower training loss. Based on the findings of the entropy law, we propose a quite efficient and universal data selection method named extbf{ZIP} for training LLMs, which aim to prioritize data subsets exhibiting a low compression ratio. Based on a multi-stage algorithm that selects diverse data in a greedy manner, we can obtain a good data subset with satisfactory diversity. Extensive experiments have been conducted to validate the entropy law and the superiority of ZIP across different LLM backbones and alignment stages. We also present an interesting application of entropy law that can detect potential performance risks at the beginning of model training.

研究の動機と目的

• 限定的な計算資源の下でLLM訓練のデータ情報内容をサンプルレベルの品質を超えて検討する。
• エントロピー法を通じてLLM学習と情報圧縮およびデータ冗長性を理論的に結びつける。
• 圧縮比に導かれ、実効情報を最大化する効率的で普遍的なデータサブセット選択手法（ZIP）を提案する。
• 複数のLLMバックボーンとアライメント段階を横断してエントロピー法とZIPを検証する。

提案手法

• データ圧縮比を、圧縮前ビット数から圧縮後ビット数への比として、データ密度を測定する。
• 圧縮比、訓練損失、データ整合性、および平均データ品質をモデル性能へ結びつけるエントロピー法を導出する。
• ZIPを提案する：グローバル、粗粒度の局所、および細粒度の局所ステップを備えたマルチステージのグリーディアルゴリズムで、低圧縮・多様なデータサブセットを選択する。
• CPUのみの、モデルフリーなデータ選択を用いてSFTとRLHF実験でZIPを実装し、独自評価器への依存を避ける。
• Mistral-7BとLlama-3-8Bにおいて、ヒューリスティックとモデルベースのベースラインに対してZIPを評価し、評価指標としてMT-benchを用いる。
• 圧縮比と訓練損失の分析を通じてエントロピー法の実証的検証を行う。

Figure 1 : An illustrative example describing different data selection paradigms. Quality-based data selection relies on sample-level data quality measurements while overlooking combinatorial effects among samples. Information-amount-based selection aims to select samples maximizing the overall info

実験結果

リサーチクエスチョン

• RQ1 サンプル品質を一定に保った場合、データ圧縮比が高いほどモデル性能が低下する（負の相関がある）か。
• RQ2 低圧縮比（情報密度が高い）を持つデータサブセットは、質が高くても潜在的に冗長なサンプルよりLLM学習を改善できるか。
• RQ3 ZIPは、既存のベースラインと比較して、異なるLLMバックボーンとアライメント段階（SFTとRLHF）に対して効果的か。
• RQ4 エントロピー法の洞察は、モデル訓練の初期段階における性能リスクを予測できるか。

主な発見

• モデル性能は、訓練セットのデータ圧縮比と負の相関がある。
• ZIPはSFTとRLHFの両方でMistral-7BおよびLlama-3-8Bにおいてベースラインを上回る。
• ZIPはモデルフリーでCPU効率が高く、短く、冗長性の少ないサンプルを選択し、MT-benchスコアは同等かそれ以上。
• エントロピー法の曲線は、訓練損失が変動しても、低い圧縮比がしばしばより良い性能と一致することを示している。
• この法則は、増分的な訓練データ更新中に潜在的な性能リスクを早期検出することを可能にする。
• 選択サブセットのデータ品質スコアは、方法間で類似することがあり、圧縮ベースの選択がサンプルレベルの品質だけには反映されない補完的な情報を捉えていることを示唆している。

(a) ZIP