[論文レビュー] Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models

Zixiang Chen, Yihe Deng+3 more|arXiv (Cornell University)|Jan 2, 2024

Topic Modeling被引用数 11

ひとこと要約

SPINは弱いSFTモデルを自己対戦で微調整し、自身の前回の反復を相手として使用し、追加の人間データなしにターゲットデータ分布へ密に整合させる。ベンチマーク全体で性能を反復的に向上させる。

ABSTRACT

Harnessing the power of human-annotated data through Supervised Fine-Tuning (SFT) is pivotal for advancing Large Language Models (LLMs). In this paper, we delve into the prospect of growing a strong LLM out of a weak one without the need for acquiring additional human-annotated data. We propose a new fine-tuning method called Self-Play fIne-tuNing (SPIN), which starts from a supervised fine-tuned model. At the heart of SPIN lies a self-play mechanism, where the LLM refines its capability by playing against instances of itself. More specifically, the LLM generates its own training data from its previous iterations, refining its policy by discerning these self-generated responses from those obtained from human-annotated data. Our method progressively elevates the LLM from a nascent model to a formidable one, unlocking the full potential of human-annotated demonstration data for SFT. Theoretically, we prove that the global optimum to the training objective function of our method is achieved only when the LLM policy aligns with the target data distribution. Empirically, we evaluate our method on several benchmark datasets including the HuggingFace Open LLM Leaderboard, MT-Bench, and datasets from Big-Bench. Our results show that SPIN can significantly improve the LLM's performance across a variety of benchmarks and even outperform models trained through direct preference optimization (DPO) supplemented with extra GPT-4 preference data. This sheds light on the promise of self-play, enabling the achievement of human-level performance in LLMs without the need for expert opponents. Codes are available at https://github.com/uclaml/SPIN.

研究の動機と目的

• 追加の人間が注釈したデータを収集せずにLLMの改善を動機づける。
• モデル自体をプレイヤーと相手の双方として活用する自己対戦微調整フレームワークを開発する。
• 合理的な仮定の下でターゲットデータ分布への収束を証明する。
• SPINを広く用いられるベンチマークで評価し、基準となるSFTに対する利得を定量化する。
• 自己対戦を強力なLLMへの道としての理論的および実証的洞察を強調する。

提案手法

• SPINを、メインモデルが人間データとモデルの自分の前回の反復とを区別しようとする二人のプレイヤーのゲームとして定義する。
• ロジスティック損失を用いて、応答がデータ由来かモデル由来かを評価する関数fを訓練する。
• 相手の更新式を閉形式で導く: p(y|x) ∝ pθt(y|x) exp( f(x,y)/λ ).
• f(x,y)=λ log [ pθt+1(y|x) / pθt(y|x) ] の対数比でfをパラメータ化する。
• プロンプト全体でデータと相手の応答を比較する SPIN 目的関数を最小化して θ を反復的に更新する。
• SPINを DPO および RLHF/RLAIF と比較し、SPINはSFTデータと自己生成データのみを使用することを指摘する。

実験結果

リサーチクエスチョン

• RQ1 追加の人間が注釈したデータなしに、弱いLLMを強力なLLMにアップグレードできるか？
• RQ2 反復的なモデルバージョン間の自己対戦がターゲットデータ分布への整合性にどのように寄与するか？
• RQ3 反復的な SPIN 訓練は標準的なLLMベンチマークで測定可能な利得を生むか？
• RQ4 SPIN が p_data に収束する条件は何か？
• RQ5 データ要件と性能の点で、SPINは直接的な好み最適化とどう比較されるか？

主な発見

• SPINは基準となるSFTモデルと比較して、HuggingFace Open LLM Leaderboardのベンチマークで性能を大幅に向上させる。
• Iteration 0は、基準SFTモデルに対して顕著な利得を生む（例: 平均で +2.66）、TruthfulQAとGSM8kで大きな利得。
• 以降の反復でも平均性能が向上し続けるが、時間とともに報酬は減衰する。
• SPINは、追加の62k GPT-4様の好みデータで訓練したモデルと同等の結果をOpen LLM LeaderboardとMT-Benchで達成する。
• この方法は追加の人間の好みデータを必要とせず、モデル自身が生成する自己対戦データに依存する。
• 理論的結果は、合理的な損失仮定の下でターゲットデータ分布への収束を示す。