[論文レビュー] Beyond Scale: The Diversity Coefficient as a Data Quality Metric for Variability in Natural Language Data

Brando Miranda, A. Lee+5 more|arXiv (Cornell University)|Jun 24, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文は、大規模言語モデル（LLMs）の事前学習データセットにおけるデータ品質を評価する形式的かつ解釈可能な指標として、多様性係数を導入する。これは規模を超えた評価を可能にする。微調整されたGPT-2を用いたフィッシャー情報行列の対角成分に基づくTask2Vec埋め込みを用いて、公開済みのLLMデータセットが高い形式的多様性を示していることを実証した。理論的境界と解釈可能性の検証により、この多様性係数はデータカバレッジを信頼性高く捉えており、より高品質で多様な学習データの構築を支援できることが示された。

ABSTRACT

Current trends in pre-training Large Language Models (LLMs) primarily focus on the scaling of model and dataset size. While the quality of pre-training data is considered an important factor for training powerful LLMs, it remains a nebulous concept that has not been rigorously characterized. To this end, we propose a formalization of one key aspect of data quality -- measuring the variability of natural language data -- specifically via a measure we call the diversity coefficient. Our empirical analysis shows that the proposed diversity coefficient aligns with the intuitive properties of diversity and variability, e.g., it increases as the number of latent concepts increases. Then, we measure the diversity coefficient of publicly available pre-training datasets and demonstrate that their formal diversity is high compared to theoretical lower and upper bounds. Finally, we conduct a comprehensive set of controlled interventional experiments with GPT-2 and LLaMAv2 that demonstrate the diversity coefficient of pre-training data characterizes useful aspects of downstream model evaluation performance -- totaling 44 models of various sizes (51M to 7B parameters). We conclude that our formal notion of diversity is an important aspect of data quality that captures variability and causally leads to improved evaluation performance.

研究の動機と目的

• LLM事前学習におけるデータ品質の正式で定量的な測定方法の欠如、特にデータセット規模を超えた測定の必要性に対処すること。
• 具体的には、データ多様性を形式的に定義され、解釈可能な指標としてデータ品質の議論を根拠づけること。
• 多様性係数が多様性の直感的な性質と整合することをテストすることで、その信頼性と意味のある測定であることを検証すること。
• 理論的下限および上限と比較することで、公開済みのLLM事前学習データセットが形式的に多様であることを実証すること。
• データ収集の段階でデータ多様性を評価・向上できる、実用的でアクセスしやすいフレームワークを実践者に提供すること。

提案手法

• 各シーケンスバッチに対して次トークン予測に微調整された固定GPT-2モデルのフィッシャー情報行列（FIM）の対角成分を用いて、Task2Vec埋め込みを計算する。
• FIMの対角成分をベクトル表現（Task2Vec埋め込み）として用い、意味的・構造的複雑さを含む内在的データ特性を捉える。
• 異なるデータバッチのTask2Vec埋め込み間のペアワイズ距離を関数として用い、形式的データ多様性を定量化する多様性係数を計算する。
• 記号的シーケンスデータに対する多様性係数の理論的下限および上限を確立し、実証的値を文脈づける。
• 解釈可能性実験を実施：データセットの連結、GINCデータセットにおける潜在的概念の変更、語彙サイズの調整により、係数の挙動をテストする。
• 代替モデルおよびランダムネットワークを用いたロバストネステストにより、一貫した埋め込み手法が用いられる限り、一貫した結果が得られることを確認した。

実験結果

リサーチクエスチョン

• RQ1 多様性係数は、自然言語事前学習データセットにおけるデータ多様性の信頼性ある形式的指標として機能できるか？
• RQ2 データソースの数や潜在的概念の数を増やすといった直感的な変更に対して、多様性係数はどのように振る舞うか？
• RQ3 well-motivatedな理論的境界と比較した場合、公開済みのLLM事前学習データセットにおける多様性係数は高いのか？
• RQ4 多様性係数で測定される形式的データ多様性は、下流のモデル性能と相関するか？
• RQ5 多様性係数は、単にデータ規模を増やすこと以上の、データ収集の実務的ツールとして利用可能か？

主な発見

• well-motivatedな理論的下限および上限と比較することで、公開済みのLLM事前学習データセットにおける多様性係数が形式的に高いことが確認された。
• 異なるソースからの事前学習データセットを連結すると多様性係数が上昇し、データソースの多様性に敏感であることが示された。
• GINCデータセットにおける潜在的概念の数が増えると、係数は上昇し、多様性の増加という直感的期待と整合した。
• より大規模で多様な語彙は、より高い多様性係数をもたらし、言語的豊かさへの感受性をさらに裏付けた。
• 多様性係数はモデル性能と相関を示した：異なる形式的多様性を持つデータセットで微調整されたGPT-2モデルでは、高い多様性が低い交差エントロピー損失と関連した。
• 異なるモデルアーキテクチャーや埋め込み手法（ランダムネットワークを含む）に対しても、手法が一貫して使用される限り、多様性係数は信頼性を保った。