[論文レビュー] A Tale of Tails: Model Collapse as a Change of Scaling Laws

Elvis Dohmatob, Yunzhen Feng+3 more|arXiv (Cornell University)|Feb 10, 2024

Topic Modeling被引用数 4

ひとこと要約

本論文は、大規模言語モデルにおけるモデルコラプスと、合成データが増加する際のスケーリング法則の変化を結びつける理論的枠組みを提示する。AIが生成するデータが自然データの分布の裾を切り詰めたり狭めたりする仕組みを分析することで、著者らは、パワー則の喪失に起因するスケーリング法則の劣化が、性能の低下、スキルの消失、最終的にはモデルコラプスを引き起こすことを示した。この仮説は、Llama2と算術タスクに最適化されたトランスフォーマーにおける大規模な実験で裏付けられた。

ABSTRACT

As AI model size grows, neural scaling laws have become a crucial tool to predict the improvements of large models when increasing capacity and the size of original (human or natural) training data. Yet, the widespread use of popular models means that the ecosystem of online data and text will co-evolve to progressively contain increased amounts of synthesized data. In this paper we ask: How will the scaling laws change in the inevitable regime where synthetic data makes its way into the training corpus? Will future models, still improve, or be doomed to degenerate up to total (model) collapse? We develop a theoretical framework of model collapse through the lens of scaling laws. We discover a wide range of decay phenomena, analyzing loss of scaling, shifted scaling with number of generations, the ''un-learning" of skills, and grokking when mixing human and synthesized data. Our theory is validated by large-scale experiments with a transformer on an arithmetic task and text generation using the large language model Llama2.

研究の動機と目的

• トレーニングデータに合成データが増加する場合、大規模言語モデルにおけるスケーリング法則がどのように変化するかを理解すること。
• トレーニング分布内での合成データによるモデルコラプスの発生メカニズム（たとえば尾部の切り詰めや狭まり）を調査すること。
• 発現的スキルの喪失やパワー則スケーリングの維持不能といった、モデル性能の劣化を分析すること。
• Llama2および算術タスクに最適化されたトランスフォーマーのモデルで、理論的予測を大規模な実験により検証すること。
• 合成データと実データを混合した場合に、グロッキング（理解の飛躍）や性能回復が発生する条件を探ること。

提案手法

• 重い尾を持つ入力分布（例：ジップの法則）におけるスケーリング法則の理論的分析と、AI生成による分布の切り詰めや狭まりによって生じるその崩壊の分析。
• トップ-p（ヌクレオス）サンプリングおよび温度スケーリングを用いてAI生成をモデル化し、次トークン分布の尾部を体系的に切り詰めたり狭めたりする。
• Llama2-7BをWikitext-103のチャンクに微調整し、先行モデルからの逐次的合成データ生成を用いて、反復的な合成データ蓄積をシミュレートする。
• テストセットにおける交差エントロピー損失とパープレキシティの変化を追跡することで、世代間およびデータ混合比ごとの性能劣化を評価。
• 制御されたデータ混合（例：90％合成、10％実データ）を導入し、回復現象やグロッキング効果を研究。
• 組み合わせ的効果をシーケンスレベルの指標（例：パープレキシティ）に分析し、尾部の狭まりが誤った性能劣化を引き起こす仕組みを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 LLMによって生成された合成データの導入が、その後続モデルのスケーリング法則にどのように影響を与えるか？
• RQ2 スケーリング行動の劣化を引き起こす主なメカニズムとして、尾部の切り詰めか尾部の狭まりのどちらが顕著か？
• RQ3 トレーニングデータ分布の統計的性質の変化を通じて、モデルコラプスを予測・説明できるか？
• RQ4 合成データと実データを混合した場合、どのような条件下で性能回復（例：グロッキング）が発生するか？
• RQ5 算術的推論といった発現的スキルが、合成データにシフトするに従い、どの程度劣化または消失するか？

主な発見

• トップ-pサンプリングおよび温度スケーリングによる合成データ生成は、自然データ分布の尾部を体系的に切り詰めたり狭めたりし、モデルの向上に不可欠なパワー則の挙動を破壊する。
• 合成データの世代が重なるにつれ、スケーリング法則が劣化する：テスト損失はデータサイズの増加に伴いパワー則の減衰を示さず、性能の停滞または低下を引き起こす。
• 複数世代の合成データで訓練されたモデルは、稀だが重要なデータパターンの喪失により、算術的推論といった発現的スキルを失う。
• Llama2-7Bを用いた実験では、データが合成化するに従い、明確な性能劣化が観察され、損失が増加し、パープレキシティが上昇した。
• 90％の合成データと10％の実データを混合すると、性能のグロッキング的回復が観察され、わずかな実データの存在がスケーリング行動の回復を可能にする。
• 理論的分析により、次トークン分布における尾部の狭まりが、直接的なデータ分布シフトがなくても、シーケンスレベルの指標（例：パープレキシティ）における組み合わせ的劣化を引き起こすことが確認された。