[論文レビュー] Mechanistically analyzing the effects of fine-tuning on procedurally defined tasks

Samyak Jain, Robert Kirk+6 more|arXiv (Cornell University)|Nov 21, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

この論文は、TracrベースのトランスフォーマーとPCFGを用いて、合成的で手続き的に定義されたタスクを通じて、ファインチューニングが事前学習モデルの能力にどのように影響するかを機械的・構造的に分析している。ファインチューニングは、通常、既存の能力を変更するのではなく、それらの上に最小限の「ラッパー」変換を学習する傾向にあり、これらの下位レベルの能力は pruning を通じて迅速に回復可能であることが判明した。これは、ファインチューニングが安全対策を意図せず無効化する可能性を示唆している。

ABSTRACT

Fine-tuning large pre-trained models has become the de facto strategy for developing both task-specific and general-purpose machine learning systems, including developing models that are safe to deploy. Despite its clear importance, there has been minimal work that explains how fine-tuning alters the underlying capabilities learned by a model during pretraining: does fine-tuning yield entirely novel capabilities or does it just modulate existing ones? We address this question empirically in synthetic, controlled settings where we can use mechanistic interpretability tools (e.g., network pruning and probing) to understand how the model's underlying capabilities are changing. We perform an extensive analysis of the effects of fine-tuning in these settings, and show that: (i) fine-tuning rarely alters the underlying model capabilities; (ii) a minimal transformation, which we call a 'wrapper', is typically learned on top of the underlying model capabilities, creating the illusion that they have been modified; and (iii) further fine-tuning on a task where such hidden capabilities are relevant leads to sample-efficient 'revival' of the capability, i.e., the model begins reusing these capability after only a few gradient steps. This indicates that practitioners can unintentionally remove a model's safety wrapper merely by fine-tuning it on a, e.g., superficially unrelated, downstream task. We additionally perform analysis on language models trained on the TinyStories dataset to support our claims in a more realistic setup.

研究の動機と目的

• 事前学習モデルの下位能力がファインチューニングによってどのように変化するかを理解すること、特にセーフティおよびアライメントの文脈において。
• ファインチューニングが事前学習済みのモデル能力を変更するのか、それとも単に新たな変換レイヤーを追加するのかを調査すること。
• 明示的な再訓練なしに、ファインチューニング後に事前学習能力を回復できるかどうかを評価すること。
• pruning やプローブなどの構造的介入に対する、ファインチューニング済みモデルの頑健性を評価すること。
• 弱く関連する vs. 強く関連する事前学習能力を持つモデルにおける、ファインチューニングの影響を検討すること。

提案手法

• 確率的文法付き文脈自由文法（PCFG）を用いて生成された手続き的タスクでトレーニングされたTracrベースのモデルを用い、解釈可能で合成的な環境を構築する。
• ネットワークのpruningを用いて、ファインチューニングによって誘発された最小限の構造的変化を同定・分離する。
• 線形プローブを用いて、ファインチューニング後の事前学習能力の保持状態とアクセス可能性を測定する。
• 学習率や下流データセットにおける誤った相関関係の有無を含む、さまざまなファインチューニングハイパーパrameterの下でモデルの挙動を比較する。
• 事前学習能力が下流の目的に対して強く関連するか、弱く関連するかの両方のタスクでファインチューニングされたモデルを分析する。
• カウンティングや出現インデックスの特定といった、特定の能力に限定した影響を分離するための制御された設定を用いる。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングは、事前学習段階で学習された下位能力を根本的に変更するのか、それとも単に変換レイヤーを追加するにとどまるのか？
• RQ2 ファインチューニング後に、事前学習能力はどの程度保持されたり、抑制されたりするのか？
• RQ3 pruning などの構造的介入によって、ファインチューニング後に事前学習能力を回復できるか？
• RQ4 事前学習能力の関連性（強く関連する vs. 弱く関連する）が、ファインチューニング済みモデルの構造にどのように影響するか？
• RQ5 ファインチューニングデータに含まれる誤った相関関係が、抑制的ラッパーの出現に果たす役割は何か？

主な発見

• ファインチューニングは、通常、下位モデル能力を変更しない。代わりに、既存の能力の上に最小限の変換（「ラッパー」と呼ばれる）を学習する傾向にある。
• ラッパーは局所的であることが、pruningによって示された：数個のニューロンや重みを削除するだけで、元の事前学習能力が回復される。
• ファインチューニング後に事前学習能力を迅速に回復可能であり、数ステップの勾配更新で再活性化できるため、構造的にその能力が保持されていることが示唆される。
• 事前学習能力が下流タスクに対して弱く関連するタスクでファインチューニングされたモデルでも、プローブとpruningによって、事前学習タスクの実行能力が保持されていることが確認された。
• 低学習率でファインチューニングされたモデルは、事前学習能力を抑制する「インヒビター」を学習する可能性があるが、pruningによってこれを逆転できる。
• プローブの結果から、高学習率でファインチューニングされたモデルは事前学習能力（例：'a'の数え上げ）へのアクセスを失う一方、低学習率でファインチューニングされたモデルは、特に事前学習能力が強く関連する場合にはそれを保持していることが分かった。