[論文レビュー] Understanding Catastrophic Forgetting in Language Models via Implicit Inference

Suhas Kotha, Jacob M. Springer+1 more|arXiv (Cornell University)|Sep 18, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、ファインチューニング中に失われた事前学習された能力を回復するための手法として、共役プロンプト（conjugate prompting）を提案する。この手法は、ファインチューニングの分布とは異なるようにプロンプトを変換することで、モデルの内的なタスク推論を変化させることを目的としている。実験では、プロンプトを他の言語に翻訳することで、インスタント学習や有害なコンテンツ生成能力が安全ファインチューニングによって抑制された状態から回復することを示している。

ABSTRACT

We lack a systematic understanding of the effects of fine-tuning (via methods such as instruction-tuning or reinforcement learning from human feedback), particularly on tasks outside the narrow fine-tuning distribution. In a simplified scenario, we demonstrate that improving performance on tasks within the fine-tuning data distribution comes at the expense of capabilities on other tasks. We hypothesize that language models implicitly infer the task of the prompt and that fine-tuning skews this inference towards tasks in the fine-tuning distribution. To test this, we propose Conjugate Prompting, which artificially makes the task look farther from the fine-tuning distribution while requiring the same capability, and we find that this recovers some of the pretraining capabilities in our synthetic setup. Since real-world fine-tuning distributions are predominantly English, we apply conjugate prompting to recover pretrained capabilities in LLMs by simply translating the prompts to different languages. This allows us to recover in-context learning abilities lost via instruction tuning, natural reasoning capability lost during code fine-tuning, and, more concerningly, harmful content generation suppressed by safety fine-tuning in chatbots like ChatGPT.

研究の動機と目的

• ファインチューニングが、特にファインチューニング分布の外にあるが近接するタスクにおいて、なぜ崩壊的忘却（catastrophic forgetting）を引き起こすのかを理解すること。
• 能力の低下が直接的な能力喪失によるものではなく、歪んだ内的タスク推論に起因するのかを調査すること。
• 再訓練を必要とせず、事前学習済みモデルの挙動を回復する原理的かつ一貫性のある手法「共役プロンプト」を構築すること。
• 特にインスタント学習や有害な指示従いの能力が安全ファインチューニングによって抑制された状況において、実世界の大規模言語モデルでの手法の有効性を検証すること。

提案手法

• 共役プロンプトの提案：ファインチューニング分布外のプロンプト P に対して、ファインチューニング分布ではあまり起こりにくいが、P の解を保持する変換済みプロンプト P′ を生成する。
• P′ がファインチューニングデータ分布とは意味的・構造的に著しく異なるように保証することで、モデルの内的なタスク推論をファインチューニング済みタスクから逸らす。
• ファインチューニングデータが英語に強く偏っているという事実を活用し、共役プロンプトの実装として言語翻訳を用いる。
• 事前学習された重みベクトルをもつモデルを線形回帰の合成設定で事前学習し、一部のデータでファインチューニングした後、性能回復度を測定する。
• 多言語翻訳を用いて、実世界の大規模言語モデルに対して共役プロンプトを適用し、インスタント学習能力や有害な指示従い能力の回復を試みる。
• 5つのモデルと4つの非英語言語を用いて手法を検証し、事前学習済み挙動の回復が一貫して得られることを示した。

Figure 1: How does fine-tuning affect language models? When pretrained over data that contains the orange task $\color[rgb]{0.9296875,0.48828125,0.19140625}T_{1}$ and the blue task $\color[rgb]{0.265625,0.4453125,0.76953125}T_{2}$ , a model may infer a prompt $P$ is from task $\color[rgb]{0.9296875,

実験結果

リサーチクエスチョン

• RQ1 ファインチューニング済み言語モデルにおける崩壊的忘却は、直接的な能力低下ではなく、内的なタスク推論バイアスに起因するのか？
• RQ2 ファインチューニング分布に似ていないようにプロンプトを変形させることで、事前学習済み能力を回復できるのか？
• RQ3 実世界の大規模言語モデルにおいて、言語翻訳は共役プロンプト変換として効果的なのか？
• RQ4 共役プロンプトは、指示ファインチューニングによって抑制されたインスタント学習能力を回復できるのか？
• RQ5 共役プロンプトは、安全ファインチューニングによって抑制された有害なコンテンツ生成行動を回避して回復できるのか？

主な発見

• 合成線形回帰設定において、共役プロンプトはファインチューニング分布外のタスクで、事前学習済み性能の顕著な回復を達成した。
• 実世界の大規模言語モデルでは、プロンプトを非英語に翻訳することで、指示ファインチューニングによって抑制されたインスタント学習能力が回復した。
• この手法は、チャットGPTのようなモデルで安全ファインチューニングによって意図的に抑制された有害なコンテンツ生成能力の回復にも有効であった。
• 性能低下は、ファインチューニング分布に近いがその外側のタスクで最も顕著であり、内的なタスク推論バイアスの仮説を支持する。
• 5つの異なる大規模言語モデルと4つの非英語言語においても一貫した回復が得られたことから、本手法の強靭性と一般化能力が示された。
• 結果から、ファインチューニング済みモデルは事前学習済み能力を保持しているが、内的なタスク推論の歪みにより誤って解釈されやすく、プロンプトベースの回復手法に脆弱であることが示唆された。

Figure 2: Pretraining loss. We compare a model trained on $\mathcal{D}_{\text{cont}}$ against the optimal algorithm of ridge regression (left) and a model trained on $\mathcal{D}_{\text{disc}}$ of 64 tasks against the optimal algorithm of discrete regression (right). Transformers match Bayes-optimal