[論文レビュー] Preference Ranking Optimization for Human Alignment

Feifan Song, Bowen Yu+5 more|arXiv (Cornell University)|Jun 30, 2023

Topic Modeling被引用数 12

ひとこと要約

PROは複数の応答の確率的ランキングを最適化することにより、人間の嗜好とLLMsを直接整合させる訓練を行い、いくつかのベースラインを上回り、さまざまな評価でChatGPT/人間の性能に近づく。

ABSTRACT

Large language models (LLMs) often contain misleading content, emphasizing the need to align them with human values to ensure secure AI systems. Reinforcement learning from human feedback (RLHF) has been employed to achieve this alignment. However, it encompasses two main drawbacks: (1) RLHF exhibits complexity, instability, and sensitivity to hyperparameters in contrast to SFT. (2) Despite massive trial-and-error, multiple sampling is reduced to pair-wise contrast, thus lacking contrasts from a macro perspective. In this paper, we propose Preference Ranking Optimization (PRO) as an efficient SFT algorithm to directly fine-tune LLMs for human alignment. PRO extends the pair-wise contrast to accommodate preference rankings of any length. By iteratively contrasting candidates, PRO instructs the LLM to prioritize the best response while progressively ranking the rest responses. In this manner, PRO effectively transforms human alignment into aligning the probability ranking of n responses generated by LLM with the preference ranking of humans towards these responses. Experiments have shown that PRO outperforms baseline algorithms, achieving comparable results to ChatGPT and human responses through automatic-based, reward-based, GPT-4, and human evaluations.

研究の動機と目的

• 有害または誤解を招く内容を緩和するために、LLMsの人間との整合性の必要性を動機づける。
• PROを、人間の嗜好ランキングを最適化するPPOの直接的な代替手段として提案する。
• Bradley-Terry比較を長い嗜好ランキングに拡張し、PROの微分可能な損失を導出する。
• PROのデータ効率と自己ブートストラッピングおよび報酬モデルの接ぎ替えへの適合性を実証する。
• さまざまなランキング長と評価手法に渡って複数のベースラインと比較してPROを評価する。

提案手法

• 長い人間の嗜好ランキングを扱えるよう Bradley-Terry 比較を拡張し、条件付き確率の再帰的積（Equation 5）を用いる。
• 候補 y^k の下でのトークンごとの対数尤度として微分可能なスコアリング関数 r_pi(x,y^k) を定義する（Equation 6）。
• PRO目的とSFT損失を結合した損失を最小化することでLLMを訓練する（Equation 7）。
• 人間の嗜好とLLMのランキングを一致させるため、微分可能な対照的PRO損失（Equation 8）を用いる。
• 任意でRLHF要素を接ぎ替え、手頃なランキング、差別化された対照（Equation 9-11）、自己ブートストラッピング拡張（ Equation 12）を含む。
• バックボーンとしてLLaMA-7Bを用いたHH-RLHFデータセットでの実験を行い、PROをSFT、RLHF、CoH、RRHF、BoN、強力なLLMベースラインと比較する; BLEU、報酬モデル、GPT-4、そして人間の判定で評価する。

実験結果

リサーチクエスチョン

• RQ1 長いランキング列を用いて、人間の嗜好とLLMを整合させる際にPROはPPOベースのRLHFを上回れるか？
• RQ2 ランキング長さは整合品質と評価スコアにどのように影響するか？
• RQ3 より高品質で多様な候補ランキングの使用がPROの性能に与える影響は？
• RQ4 自動評価と人間の評価の両方で、PROは既知のベースラインとどのように比較されるか？
• RQ5 PROをRLHF要素で効果的に補強して柔軟性と効率性のバランスを取ることは可能か？

主な発見

Sub-set	Method	BLEU	Reward
Harmless_base	PRO	12.05	62.96
Helpful_base	PRO	20.83	48.51
Helpful_online	PRO	28.75	59.02
Helpful_rejection	PRO	27.17	53.28

• PROはランキング長さが2でも競合ベースラインを上回り、HH-RLHF rawでSFTを6.52報酬点、RRHFを3.1点上回す。
• より長いランキング列はPROの人間との整合性性能を一貫して向上させる。
• 高品質で多様な候補ランキング（ChatGPTサンプルを含むなど）はPROの性能を高め、より少ないパラメータの大規模モデルに近い報酬スコアを達成する。
• 自己ブートストラッピングは段階的な改善をもたらすが、高品質な外部サンプルからの利得の方が大きい。
• GPT-4と人間の評価は、RRHFおよび基準となるGoldenサンプルよりもPROを大きく支持する傾向が強く、人間の嗜好との整合性が高いことを示している。