[論文レビュー] Emergent and Predictable Memorization in Large Language Models

Stella Biderman, USVSN Sai Prashanth+5 more|arXiv (Cornell University)|Apr 21, 2023

Topic Modeling被引用数 26

ひとこと要約

この論文は、低コストの小規模または中間トレーニング実行を用いて、特定のデータが大規模言語モデルに記憶されるかを予測することを研究する。小さなモデルははるかに大きなモデルの記憶を予測するには不適切であり、スケーリング法則の現象を分析して等計算量の予測を導く。

ABSTRACT

Memorization, or the tendency of large language models (LLMs) to output entire sequences from their training data verbatim, is a key concern for safely deploying language models. In particular, it is vital to minimize a model's memorization of sensitive datapoints such as those containing personal identifiable information (PII). The prevalence of such undesirable memorization can pose issues for model trainers, and may even require discarding an otherwise functional model. We therefore seek to predict which sequences will be memorized before a large model's full train-time by extrapolating the memorization behavior of lower-compute trial runs. We measure memorization of the Pythia model suite and plot scaling laws for forecasting memorization, allowing us to provide equi-compute recommendations to maximize the reliability (recall) of such predictions. We additionally provide further novel discoveries on the distribution of memorization scores across models and data. We release all code and data necessary to reproduce the results in this paper at https://github.com/EleutherAI/pythia

研究の動機と目的

• 大規模LLMsが記憶する可能性のある学習データ点を予測することで、安全な展開を促進する。
• 低コストの事前学習 regime（小型または部分的に訓練されたモデル）を用いて記憶を予測する方法を開発する。
• そのような予測の信頼性を特徴づけ、訓練予算の下での等計算量の推奨を提供する。
• モデルサイズと訓練の進行に伴う記憶のスケーリングを分析し、出現するパターンを特定する。

提案手法

• 記憶の指標として k-extractibility を定義し、貪欲に生成された継続に基づく記憶スコアを使用する。
• 複数サイズと7つの訓練チェックポイントで、Pythiaベースのモデル群における記憶を評価する。
• 小型モデルの記憶を大規模モデルの記憶の予測因子として扱い、適合率/再現率を計算する。
• 完全訓練済みの小型モデルの予測を、完全訓練済みの大規模モデルと比較して、スケールを跨ぐ予測を評価する。
• 同じ最終モデルサイズ内の部分訓練チェックポイントを評価して、最終的な記憶挙動を予測する。
• スケーリング関係を描き、等計算量制約の下で出現する記憶現象を分析する。

Figure 1 : A heat map for visualizing the correlation between sequences memorized by different sizes. All models are fully trained.

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルが特定のシーケンスを記憶することを、より小さなモデルの記憶挙動から予測できるか。
• RQ2 同じ最終モデルサイズの部分訓練チェックポイントから、大規模モデルの記憶を予測できるか。
• RQ3 モデルサイズと訓練予算を横断して記憶を予測する際、どのようなスケーリングパターンが出現するか。
• RQ4 安価な低コスト実行から得られる予測信号を用いた場合の適合率と再現率のトレードオフ。

主な発見

モデル	適合率	再現率	メモ
Pythia-70M	0.956	0.197	完全訓練済み12B予測子の比較
Pythia-160M	0.948	0.289	完全訓練済み12B予測子の比較
Pythia-410M	0.940	0.401	完全訓練済み12B予測子の比較
Pythia-1.0B	0.931	0.512	完全訓練済み12B予測子の比較
Pythia-1.4B	0.926	0.554	完全訓練済み12B予測子の比較
Pythia-2.8B	0.909	0.658	完全訓練済み12B予測子の比較
Pythia-6.9B	0.884	0.795	完全訓練済み12B予測子の比較

• 小型モデル（70Mパラメータまで）は、12Bモデルの記憶を予測する際に高い適合率を示す一方、非常に低い再現率であり、信頼できる予測因子とはならない。
• モデルスケール全体で記憶は、サイズ差が大きくなるほど相関が低下し、小さなモデルから最終記憶を予測する場合には大きな再現率のギャップが生じる。
• 部分訓練チェックポイントからの予測は高い適合率だが、再現率が信頼できるレベルになるまでには相当な計算資源が必要。
• 異常なスケーリング挙動が観察され、等計算量の予測は、計算予算に応じて最適な予測子となるサイズが変わる。
• 現れつつある記憶を定性的に観察し、大規模モデルの記憶が必ずしも小型モデルの挙動から推測できないことを示す。
• 著者らは、再現率を最大化しつつ計算量を制限する最適な等計算量予測子を特定するためのスケーリング法則ガイド手法を提示する。

(a) Pythia-70M