[論文レビュー] Simfluence: Modeling the Influence of Individual Training Examples by Simulating Training Runs

Kelvin Guu, Albert Webson+4 more|arXiv (Cornell University)|Mar 14, 2023

Topic Modeling被引用数 7

ひとこと要約

Simfluenceは、個々の訓練例の影響をスカラー得点ではなく、反事後的訓練シーケンス下でのテスト例の損失軌道を予測する訓練ランシミュレータによって、訓練データ帰属（TDA）の新しいパラダイムを導入する。提案手法Simfluence-Linearは、高精度なマルコフ過程を用いてこれらの軌道をシミュレートし、LLMの微調整タスクにおいて、既存のTDA手法と比較してスピアマン順位相関を2倍にし、平均二乗誤差を75%低減する。

ABSTRACT

Training data attribution (TDA) methods offer to trace a model's prediction on any given example back to specific influential training examples. Existing approaches do so by assigning a scalar influence score to each training example, under a simplifying assumption that influence is additive. But in reality, we observe that training examples interact in highly non-additive ways due to factors such as inter-example redundancy, training order, and curriculum learning effects. To study such interactions, we propose Simfluence, a new paradigm for TDA where the goal is not to produce a single influence score per example, but instead a training run simulator: the user asks, ``If my model had trained on example $z_1$, then $z_2$, ..., then $z_n$, how would it behave on $z_{test}$?''; the simulator should then output a simulated training run, which is a time series predicting the loss on $z_{test}$ at every step of the simulated run. This enables users to answer counterfactual questions about what their model would have learned under different training curricula, and to directly see where in training that learning would occur. We present a simulator, Simfluence-Linear, that captures non-additive interactions and is often able to predict the spiky trajectory of individual example losses with surprising fidelity. Furthermore, we show that existing TDA methods such as TracIn and influence functions can be viewed as special cases of Simfluence-Linear. This enables us to directly compare methods in terms of their simulation accuracy, subsuming several prior TDA approaches to evaluation. In experiments on large language model (LLM) fine-tuning, we show that our method predicts loss trajectories with much higher accuracy than existing TDA methods (doubling Spearman's correlation and reducing mean-squared error by 75%) across several tasks, models, and training methods.

研究の動機と目的

• 加法的影響を仮定する既存のTDA手法の限界に対処すること。これは、重複やカリキュラム効果のような非加法的相互作用を捉えられないためである。
• 訓練順序の変更や例の削除といった反事後的訓練シナリオをシミュレートできるようにすること。具体的には、特定のテスト例のモデル損失がどのように変化するかを予測すること。
• 複雑な訓練ダイナミクスを捉えつつ、計算的に効率的な、高速で解釈可能なシミュレータを開発すること。
• TracIn や影響関数といった既存のTDA手法を特別なケースとして包含し、シミュレーション精度を用いた直接比較を可能にすること。
• 特定の訓練シーケンスに応じて影響が時間経過とともにどのように蓄積されるかをモデル化することで、モデル行動の解釈性を向上させること。

提案手法

• 訓練ランシミュレータを出力とする新しいTDAパラダイムを提案。このシミュレータは、シミュレートされた訓練シーケンスに沿ってテスト損失の時系列を予測する。
• 各訓練例ごとに2つの学習可能なパラメータ $A_i$ と $B_i$ を用いて、影響力と減衰効果を捉える、マルコフ過程に基づくSimfluence-Linearを導入。
• 各ステップでの損失を、以前に観測された例からの累積的影響の関数としてモデル化。指数的減衰を用いた影響スコアの線形結合を用いる。
• 時系列定式化を用いてシミュレータのダイナミクスを導出。ステップ $t$ での予測損失は、過去の影響を減衰係数で重み付けした和に依存する。
• TracIn や影響関数が特定の仮定の下でSimfluence-Linearの特別なケースとして導出されることを示し、統一的な評価を可能にする。
• 各例のパラメータ $A_i$ と $B_i$ を観測された訓練ランのデータ上で学習することで、シミュレータを訓練。これにより、1回の予測がミリ秒単位で高速に実行可能になる。

実験結果

リサーチクエスチョン

• RQ1 訓練ランシミュレータは、スカラー影響スコアと比較して、テスト例の損失軌道をより高い精度で予測できるか？
• RQ2 マルコフベースのシミュレータは、訓練における重複やカリキュラム効果といった非加法的相互作用をどれほど的確に捉えられるか？
• RQ3 TracIn や影響関数といった既存のTDA手法は、加法的影響仮定のため、実際の訓練ダイナミクスをどれほど誤ってモデル化しているか？
• RQ4 Simfluenceパラダイムは、訓練例の再順序化や削除といった反事後的訓練シナリオの正確なシミュレーションを可能にするか？
• RQ5 多様なLLM微調整タスクにおいて、Simfluence-Linearのシミュレーション精度は先行TDA手法と比べてどの程度優れているか？

主な発見

• Simfluence-Linearは、複数のLLM微調整タスクにおいて、既存のTDA手法と比較して損失軌道予測の平均二乗誤差を75%低減する。
• 予測された損失軌道と実際の損失軌道とのスピアマン順位相関が2倍に上昇し、予測精度が著しく向上していることが示された。
• Simfluence-Linearは、突然の変化（例の露出に起因）を示すような、スパイク的で滑らかでない損失軌道を的確に捉えている。
• TracIn や影響関数といった既存のTDA手法は、正式にSimfluence-Linearの特別なケースとして包含されており、直接的なベンチマークが可能である。
• 1回の予測あたりミリ秒単位で実行されるため、訓練ダイナミクスのインタラクティブ分析に実用的である。
• このアプローチにより、実際の訓練における多くの損失のフラクチュエーションが予測可能であり、ランダムではないことが明らかになった。これは、シミュレータが例レベルの影響を的確に理解していることを示している。