[論文レビュー] RLCD: Reinforcement Learning from Contrastive Distillation for Language Model Alignment

Kevin Yang, Dan Klein+3 more|arXiv (Cornell University)|Jul 24, 2023

Topic Modeling被引用数 4

ひとこと要約

RLCDは、対照的プロンプトを用いて合成された順序ペアを生成することで、人間のフィードバックなしに言語モデルを整合化するための新規手法を提案する。具体的には、肯定的プロンプト $p_{+}$ と否定的プロンプト $p_{-}$ を用いて対照的な出力を生成し、肯定的出力 $o_{+}$ を好ましいと自動的にラベル付ける。このアプローチにより、ラベルノイズを低減し、7Bおよび30Bのモデルスケールにおいて、有害性、有用性、物語生成のタスクで、RLAIFおよびコンテキスト distillation のベースラインを上回る整合化性能を達成する。

ABSTRACT

We propose Reinforcement Learning from Contrastive Distillation (RLCD), a method for aligning language models to follow principles expressed in natural language (e.g., to be more harmless) without using human feedback. RLCD creates preference pairs from two contrasting model outputs, one using a positive prompt designed to encourage following the given principles, and one using a negative prompt designed to encourage violating them. Using two different prompts causes model outputs to be more differentiated on average, resulting in cleaner preference labels in the absence of human annotations. We then use the preference pairs to train a preference model, which is in turn used to improve a base unaligned language model via reinforcement learning. Empirically, RLCD outperforms RLAIF (Bai et al., 2022b) and context distillation (Huang et al., 2022) baselines across three diverse alignment tasks--harmlessness, helpfulness, and story outline generation--and when using both 7B and 30B model scales for simulating preference data.

研究の動機と目的

• 言語モデルの整合化に人間がアノテートした順序データを収集する際の高コストとスケーラビリティの制限を解決すること。
• 強化学習における合成順序データの品質を向上させ、ラベルノイズを低減すること。
• RLAIF（ペアワイズ順序）とコンテキスト distillation（方向性属性制御）の長所を統合したフレームワークを構築すること。
• 人間のフィードバックを一切使用せず、LLMが生成する順序信号のみで大規模言語モデルを効果的に整合化できることを実現すること。
• 対照的プロンプト設計が、標準的なRLAIFやコンテキスト distillation よりも高品質な順序データを生み出せることを示すこと。

提案手法

• 肯定的プロンプト $p_{+}$ と否定的プロンプト $p_{-}$ を生成する。$p_{+}$ は望ましい属性（例：有用性）を促進し、$p_{-}$ はそれを抑制する。
• ベース言語モデルを用いて、$p_{+}$ と $p_{-}$ からそれぞれ出力 $(o_{+}, o_{-})$ を生成する。
• 自動的に $o_{+}$ を好ましい、$o_{-}$ を非好ましいとラベル付けし、合成されたペアワイズ順序データを形成する。
• 生成された合成順序ペアを用いて、相対的な品質を予測するための順序モデルを学習する。
• 順序モデルの報酬信号を用いて、PPOを用いてターゲット言語モデルをファインチューニングする。
• 合成順序ペアの生成と整合化に同じモデルを用いることで、フィードバックなしでスケーラブルな学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 対照的プロンプトを用いて生成された合成順序ペアは、標準的なRLAIFに比べて、整合化品質において優れているか？
• RQ2 肯定的および否定的プロンプトを併用することで、標準的なRLAIFに比べ、順序データの信号対ノイズ比が向上するか？
• RQ3 対照的 distillation は、コンテキスト distillation よりも優れた整合化を達成できるか、かつペアワイズ強化学習の利点を保持できるか？
• RQ4 RLCDは、有害性、有用性、創造的生成といった多様な整合化タスクにおいて、どのように性能を発揮するか？
• RQ5 人間のフィードバックを一切必要とせず、大規模モデル（例：30B）スケールに対しても効果的にスケーリングできるか？

主な発見

• RLCDは、人間評価において、有害性、有用性、物語のアウトライン生成の3つのタスクで、すべての基準としてRLAIFおよびコンテキスト distillation のベースラインを上回る性能を示した。
• 7Bモデルスケールでは、RLCDがペアワイズ比較において優れた性能を発揮しており、より高品質な順序信号であることが示された。
• 30Bモデルスケールでは、RLCDがベースラインと同等またはそれを上回る性能を維持しており、スケーラビリティが裏付けられた。
• $o_{+}$ と $o_{-}$ 間の品質差を明確にすることで、ラベルノイズを低減し、より信頼性の高い順序モデリングを可能にした。
• 肯定的および否定的プロンプトの両方を用いることで、コンテキスト distillation が肯定的信号のみを用いるのに対し、より豊かな監視信号が得られた。
• このアプローチにより、人間のフィードバックを一切必要とせず、大規模でコスト効率の良いLLMの整合化が実現可能となった。