[論文レビュー] On the Diversity of Synthetic Data and its Impact on Training Large Language Models

Hao Chen, Abdul Waheed+5 more|arXiv (Cornell University)|Oct 19, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLM）を用いて意味的特徴をクラスタリングすることで、合成データの多様性を測定する新しいフレームワーク「LLM Cluster-agent」を提案する。高い多様性を持つ合成事前学習データは、LLMの事前学習および微調整性能を顕著に向上させることを示しており、微調整段階への影響が事前学習段階の影響よりも顕著であることが明らかになった。

ABSTRACT

The rise of Large Language Models (LLMs) has accentuated the need for diverse, high-quality pre-training data. Synthetic data emerges as a viable solution to the challenges of data scarcity and inaccessibility. While previous literature has focused predominantly on the quality and quantity of real data, our work enables the measurement of diversity in synthetic data and explores its impact on LLM performance. We study the downstream effects of synthetic data diversity during both the pre-training and fine-tuning stages by introducing a new diversity metric, extit{LLM cluster-agent}, designed to evaluate the diversity of synthetic datasets. Through a series of controlled experiments with models of 350M and 1.4B parameters, we demonstrate that the proposed cluster-based LLM scoring of diversity correlates positively with both pre-training and supervised fine-tuning performance. Our findings also reveal that synthetic data diversity in pre-training affects supervised fine-tuning more significantly than pre-training itself, even for smaller models. We hope this study advances our understanding of the optimal use of synthetic data in LLM training and opens new avenues for efficient data generation processes.

研究の動機と目的

• LLM事前学習に用いられる合成テキストデータの多様性を測る信頼性のある指標の欠如に対処すること。
• 合成データの多様性が、LLMの事前学習および微調整段階における性能に与える影響を調査すること。
• 大規模な合成データセットにおいて、従来の指標が失敗する状況でも、スケーラブルでLLMベースの多様性測定手法を開発すること。
• 合成データの多様性が、データ量よりもLLM性能を決定づける上でより重要であるかどうかを特定すること。

提案手法

• ランダムに抽出された合成データセットのテキストから、LLMを用いて要約・クラスタリングを行うパイプライン「LLM Cluster-agent」を提案する。
• LLMがデータポイントの顕著な特徴を特定し、それらの特徴に基づいてクラスタリングを行うように誘導するプロンプトを設計し、信頼性を向上させる自己検証メカニズムを統合する。
• クラスタリング結果からLLMクラスタースコアを算出し、データセットの多様性を定量的指標として得る。
• 従来の指標が失敗する大規模な合成データセットにおいて、異なるLLMと組み合わせて指標の整合性とスケーラビリティを検証する。
• 620,000件のウィキペディアトピックを用いた制御実験により、多様性の異なる合成データを生成し、3.5億および14億パラメータのモデルを学習する。
• 事前学習後および教師あり微調整後の標準ベンチマークでのモデル性能を評価し、多様性スコアと下流タスクの結果の相関を検証する。

Figure 1: Linear regression of LLM cluster score and benchmark performance of (a) pre-trained 350M; (b) pre-trained 1.4B; (c) supervised fine-tuned 350M; and (d) supervised fine-tuned 1.4B models. Each scatter represents a synthetic dataset with size corresponding to the number of tokens.

実験結果

リサーチクエスチョン

• RQ1 合成事前学習データの多様性は、LLMの事前学習および微調整段階における性能にどのように影響するか？
• RQ2 従来の指標が失敗する大規模なスケールにおいて、LLMベースの手法が合成テキストデータの多様性を信頼性を持って測定できるか？
• RQ3 合成データの多様性は、事前学習性能よりも微調整性能により顕著な影響を与えるか？
• RQ4 合成データの多様性は、データ量を上回る程度にLLM性能を左右するか、その程度はどの程度か？

主な発見

• LLM Cluster-agentによる多様性指標は、3.5億および14億パラメータのモデルにおいて、事前学習および微調整性能の両方と正の相関を示した。
• 合成データの多様性は、特に小さなモデルであっても、微調整性能への影響が事前学習性能への影響よりも顕著に強いことが判明した。
• 提案手法であるLLMベースの多様性測定法は、整合性があり、大規模な合成データに対してスケーラブルかつ効果的であり、結果が一貫しない従来の指標を上回った。
• 本研究では、多様性が合成データの重要な品質要因であることが明らかになった。高多様性による性能向上は、データ量の増加によるものよりも顕著に顕著であった。
• 620,000件のウィキペディアトピックを用いた制御実験では、多様な合成データで事前学習されたモデルが微調整段階でより良い一般化性能を示し、指標の予測能力を裏付けた。

Figure 2: Pipeline, prompt, and example outputs of the proposed LLM Cluster-agent. LLM Cluster-agent first generates metadata and metrics with attributes and scores that captures the underlying distribution and then uses these criteria to perform clustering with an extra self-verification step.