[論文レビュー] Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision

Collin Burns, Pavel Izmailov+10 more|arXiv (Cornell University)|Dec 14, 2023

Topic Modeling被引用数 24

ひとこと要約

この論文は、弱い監督者からのラベルでファインチューニングされた強力なモデルが弱い監督者を超えて一般化できるかを研究し、弱→強の一般化を大幅に改善する方法を提示しつつ、超人レベルの整合性に対する制限を強調する。

ABSTRACT

Widely used alignment techniques, such as reinforcement learning from human feedback (RLHF), rely on the ability of humans to supervise model behavior - for example, to evaluate whether a model faithfully followed instructions or generated safe outputs. However, future superhuman models will behave in complex ways too difficult for humans to reliably evaluate; humans will only be able to weakly supervise superhuman models. We study an analogy to this problem: can weak model supervision elicit the full capabilities of a much stronger model? We test this using a range of pretrained language models in the GPT-4 family on natural language processing (NLP), chess, and reward modeling tasks. We find that when we naively finetune strong pretrained models on labels generated by a weak model, they consistently perform better than their weak supervisors, a phenomenon we call weak-to-strong generalization. However, we are still far from recovering the full capabilities of strong models with naive finetuning alone, suggesting that techniques like RLHF may scale poorly to superhuman models without further work. We find that simple methods can often significantly improve weak-to-strong generalization: for example, when finetuning GPT-4 with a GPT-2-level supervisor and an auxiliary confidence loss, we can recover close to GPT-3.5-level performance on NLP tasks. Our results suggest that it is feasible to make empirical progress today on a fundamental challenge of aligning superhuman models.

研究の動機と目的

• 弱い監視が、はるかに強力なモデルの全能力を引き出せるかを調査する。
• 弱ラベルで訓練した場合、強力なモデルが弱い監視者をどれだけ上回るかを定量化する。
• 弱から強への一般化を改善する方法を特定する（例：補助的損失、ブートストラッピング、教師なし微調整）。
• 単純な監視とRLHFの超人レベルモデルへのスケーリング可能性の制限を評価する。）
• method':['小さなモデルを正解ラベルでファインチューニングして弱い監督者を作成する。','弱いラベルで強力な学生モデルをファインチューニングし、弱→強の性能を測定する。','正解ラベルでファインチューニングして得られる強い天井と比較する。','簡単な改善技術を導入・評価する（補助的信頼度損失、ブートストラッピング、教師なし微調整）。','強いモデルの潜在能力の回復を定量化するため、回復した性能ギャップ（PGR）を定義・算出する。'],
• research_questions':['弱い監視で訓練された強力なモデルは、NLP、チェス、報酬モデリングタスクのいずれにおいても、弱い監視者を上回ることができるか？','単純な弱監視は、強いモデルの能力の回復（PGR）をどの程度許容するか？','弱→強一般化を意味のある程度改良する簡単な手法は何か？','超人レベルのモデルへスケールする際の、素朴なRLHFに類似した監督の制限は何か？'],
• key_findings':['弱監督で訓練された強力な事前学習済みモデルは、一貫して弱い監督を上回る（weak-to-strong generalization）。','単純な弱ラベルでのファインチューニングはギャップの一部を回復することが多く、NLPタスクで顕著な改善を示す一方、報酬モデリングでは限られた利得。','弱→強一般化は、単純な方法だけを用いると強い天井から遠く、超人モデルへのRLHF風スケーリングの課題を示している。','補助的信頼度損失はNLPの一般化を劇的に改善し、ギャップの大半を回復させる（例：一部のNLP設定で約80%近く）。','中間サイズのモデルによるブートストラッピングは、いくつかの設定で大きなギャップに対して一般化を改善する（特にチェスで顕著）、ただし普遍的には有効でない。','教師なし生成的微調整は報酬モデリングに寄与できるが、ギャップを完全には埋めない。結果はタスク依存。'],
• table_headers: [],
• table_rows: []} };"title":"GeneratedReview"} } }

提案手法

• Create weak supervisors by finetuning small models on ground-truth labels.
• Finetune strong student models on weak labels and measure weak-to-strong performance.
• Compare against strong ceilings obtained by finetuning with ground-truth labels.
• Introduce and evaluate simple improvement techniques (auxiliary confidence loss, bootstrapping, unsupervised finetuning).
• Define and compute performance gap recovered (PGR) to quantify recovery of the strong model’s potential.]
• research_questions: [
• Can a strong model trained on weak supervision outperform its weak supervisor across NLP, chess, and reward modeling tasks?
• To what extent does naive weak supervision allow recovery of the strong model’s capabilities (PGR)?
• What simple techniques can meaningfully improve weak-to-strong generalization?
• What are the limitations of naive RLHF-like supervision when scaling toward superhuman models?

実験結果

リサーチクエスチョン

• RQ1 Can a strong model trained on weak supervision outperform its weak supervisor across NLP, chess, and reward modeling tasks?
• RQ2 To what extent does naive weak supervision allow recovery of the strong model’s capabilities (PGR)?
• RQ3 What simple techniques can meaningfully improve weak-to-strong generalization?
• RQ4 What are the limitations of naive RLHF-like supervision when scaling toward superhuman models?

主な発見

• Strong pretrained models trained with weak supervision consistently outperform their weak supervisors (weak-to-strong generalization).
• Naive finetuning on weak labels often recovers a portion of the gap, with NLP tasks showing notable gains; reward modeling shows limited gains.
• Weak-to-strong generalization remains far from the strong ceiling when using naive methods alone, indicating RLHF-like scaling challenges for superhuman models.
• Auxiliary confidence loss can dramatically improve NLP generalization, recovering a large portion of the gap (e.g., near 80% in some NLP settings).
• Bootstrapping with intermediate model sizes improves generalization for larger gaps in some settings (notably chess), while not universally effective.
• Unsupervised generative finetuning can aid reward modeling but does not fully close the gap; results are task-dependent.