[論文レビュー] Two-stage LLM Fine-tuning with Less Specialization and More Generalization

Yihan Wang, Si Si+6 more|arXiv (Cornell University)|Nov 1, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、最初にタスク固有のフォーマットを吸収するためにソフトプロンプトを微調整し、その後で本体モデルの重みを更新することで、微調整済み大規模言語モデル（LLM）のフォーマット特化を軽減する二段階微調整フレームワーク、ProMoTを提案する。実験の結果、ProMoTは微調整タスクで同等のパフォーマンスを達成するとともに、多様なドメイン外タスクにおけるコンテキスト内学習の一般化性能を顕著に向上させた。特に、NLIの微調整後に要約タスクの性能が向上するなど、意味的に関連するタスクでも一般化性能が向上した。

ABSTRACT

Pretrained large language models (LLMs) are general purpose problem solvers applicable to a diverse set of tasks with prompts. They can be further improved towards a specific task by fine-tuning on a specialized dataset. However, fine-tuning usually makes the model narrowly specialized on this dataset with reduced general in-context learning performances, which is undesirable whenever the fine-tuned model needs to handle additional tasks where no fine-tuning data is available. In this work, we first demonstrate that fine-tuning on a single task indeed decreases LLMs' general in-context learning performance. We discover one important cause of such forgetting, format specialization, where the model overfits to the format of the fine-tuned task.We further show that format specialization happens at the very beginning of fine-tuning. To solve this problem, we propose Prompt Tuning with MOdel Tuning (ProMoT), a simple yet effective two-stage fine-tuning framework that reduces format specialization and improves generalization.ProMoT offloads task-specific format learning into additional and removable parameters by first doing prompt tuning and then fine-tuning the model itself with this soft prompt attached. With experiments on several fine-tuning tasks and 8 in-context evaluation tasks, we show that ProMoT achieves comparable performance on fine-tuned tasks to standard fine-tuning, but with much less loss of in-context learning performances across a board range of out-of-domain evaluation tasks. More importantly, ProMoT can even enhance generalization on in-context learning tasks that are semantically related to the fine-tuned task, e.g. ProMoT on En-Fr translation significantly improves performance on other language pairs, and ProMoT on NLI improves performance on summarization. Experiments also show that ProMoT can improve the generalization performance of multi-task training.

研究の動機と目的

• 微調整済みLLMにおける過剰特化の問題に対処すること。これは、未観測タスクにおけるコンテキスト内学習性能の低下を引き起こす。
• 特定の入力／出力フォーマットに過剰に適合することで生じるフォーマット特化が、微調整中の一般化性能低下の主な要因であるかどうかを調査すること。
• 微調整タスクで強いパフォーマンスを達成しつつ、一般化性能を維持する手法を開発すること。
• ソフトプロンプトにフォーマット学習を移譲することで、一般化性能が向上し、意味的に関連するタスク（例：NLI微調整後の要約）の性能向上が見られるかどうかを実証すること。

提案手法

• 事前学習済みLLMは固定され、タスク固有のデータ上でソフトプロンプトが微調整される。これにより、モデルの重みを更新せずにタスクのフォーマットを学習できる。
• ソフトプロンプトが固定された後、本体LLMの重みがソフトプロンプトを接続した状態で微調整される。これにより、モデルは意味的コンテンツを学習しつつ、フォーマットに依存しない表現を維持できる。
• ソフトプロンプトは、フォーマット固有のパターンを吸収する取り外し可能なタスク固有のアダプタとして機能し、モデルの一般コンテキスト内学習能力への干渉を軽減する。
• 推論時、入力タスクのフォーマットが異なる場合にはソフトプロンプトを削除可能であり、これにより分布外タスクへの一般化が可能になる。
• 本フレームワークは単一タスクおよびマルチタスク設定に適用可能であり、1ショットプロンプトを用いたコンテキスト内学習とも組み合わせられる。
• 本手法は、NLI、翻訳、要約など複数のNLPタスクにおいて、コンテキスト内少数ショット評価を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 単一タスクでの微調整は、ドメイン外タスクにおけるLLMのコンテキスト内学習性能を低下させるか？
• RQ2 特定の入力／出力フォーマットに過剰適合することで生じるフォーマット特化が、微調整中の一般化性能低下の主な要因であるか？
• RQ3 モデルの微調整前にフォーマット学習をソフトプロンプトに移譲することで、特化を軽減し、一般化性能を向上させられるか？
• RQ4 フォーマットが異なるが意味的に関連するタスク（例：NLI微調整後に要約性能を向上させる）において、ProMoTは一般化性能を向上させるか？
• RQ5 標準的なマルチタスク微調整と比較して、ProMoTはマルチタスク微調整の一般化性能を向上させるか？

主な発見

• 単一タスクでの微調整により、未観測タスクにおけるコンテキスト内学習性能が顕著に低下し、mT5は1,000ステップの微調整で少数ショット性能を失う。
• フォーマット特化は微調整の初期段階で発生し、モデルが特定の出力フォーマット（例：'True'／'False'）に過剰適合することで、一般化性能の低下が顕著に現れる。
• ProMoTは微調整タスクで標準的な微調整と同等のパフォーマンス（例：RTEで93.14 vs. 標準的微調整の93.14）を達成するとともに、ドメイン外タスクにおけるコンテキスト内学習性能を著しく向上させた。
• NLIで微調整した後、ProMoTはコンテキスト内要約性能を事前学習モデル比で8.65%向上させ、意味的に関連するタスクにおける一般化性能の向上を示した。
• マルチタスク学習において、ProMoTは標準的なマルチタスク微調整比で8.35%、標準的な微調整比で5.10%の正規化平均パフォーマンス向上を達成した。
• アブレーションスタディの結果、二段階トレーニングプロセスが不可欠であることが確認された。同時に微調整するか、ランダムプロンプトを使用するとフォーマット特化の軽減に失敗し、ソフトプロンプトは自然言語プロンプトよりも特化を低減する効果が顕著であった。