[論文レビュー] Safe RLHF: Safe Reinforcement Learning from Human Feedback

Josef Dai, Xuehai Pan+6 more|arXiv (Cornell University)|Oct 19, 2023

Software Engineering Research被引用数 20

ひとこと要約

Safe RLHF は、人間のフィードバックにおける有用性と無害性を分離し、ラグランジアン制約付きの RLHF フレームワークを用いて微調整中にこれらをバランスさせ、安全性と性能を向上させる。

ABSTRACT

With the development of large language models (LLMs), striking a balance between the performance and safety of AI systems has never been more critical. However, the inherent tension between the objectives of helpfulness and harmlessness presents a significant challenge during LLM training. To address this issue, we propose Safe Reinforcement Learning from Human Feedback (Safe RLHF), a novel algorithm for human value alignment. Safe RLHF explicitly decouples human preferences regarding helpfulness and harmlessness, effectively avoiding the crowdworkers' confusion about the tension and allowing us to train separate reward and cost models. We formalize the safety concern of LLMs as an optimization task of maximizing the reward function while satisfying specified cost constraints. Leveraging the Lagrangian method to solve this constrained problem, Safe RLHF dynamically adjusts the balance between the two objectives during fine-tuning. Through a three-round fine-tuning using Safe RLHF, we demonstrate a superior ability to mitigate harmful responses while enhancing model performance compared to existing value-aligned algorithms. Experimentally, we fine-tuned the Alpaca-7B using Safe RLHF and aligned it with collected human preferences, significantly improving its helpfulness and harmlessness according to human evaluations.

研究の動機と目的

• 有用性と無害性に関する人間の嗜好を分離して、クラウドワーカーの混乱を避ける。
• RLHF 内で安全性を制約付き最適化問題として形式化する。
• 有用性と無害性それぞれについて、別個に報酬モデルとコストモデルを訓練する。
• ポリシー最適化中にラグランジアン乗数を用いて二つの目的を動的にバランスする。
• Alpaca-7B 上で三回のファインチューニング・イテレーションを通じて安全性と性能の改善を実証する。

提案手法

• 有用性と無害性の別々のデータセットを生み出す二段階のアノテーション計画を導入する。
• Bradley-Terry ベースの損失を用いて有用性データで報酬モデル、無害性データでコストモデルを訓練する。
• Safe RLHF を J_R(theta) と J_C(theta) および移動する d オフセットを用いる制約付き最適化として定式化する。
• ラグランジュ法を適用して min_theta max_lambda>=0 [-J_R(theta) + lambda*J_C(theta)] を解き、lambda を適応的に更新する。
• Alpaca-7B 上で三回の赤TEAM（red-teaming）、データ収集、モデル訓練、Safe RL ファインチューニングの三つの反復サイクルを用いる。
• 将来のモデルを迅速に評価するための統一的な、モデルベースの評価者（報酬モデルとコストモデル）を提供する。

実験結果

リサーチクエスチョン

• RQ1 Safe RLHF は同時に LLM の有用性と無害性を向上させることができるのか？
• RQ2 RLHF の過程で無害性と有用性を明示的に分離することから生じる利点は何か。
• RQ3 ダイナミックなラグランジアンバランスは、安全性と有用性のトレードオフを管理する静的報酬設計と比較してどれほど効果的か。
• RQ4 コストモデルの分類機能は、他の信号よりも良い安全性の調整に寄与するのか。

主な発見

モデル	指標	Beaver-v1	Beaver-v2	Beaver-v3	統合
報酬モデル	ランキング精度	78.13%	75.73%	77.32%	73.95%
コストモデル	ランキング精度	74.47%	76.07%	74.17%	70.44%
安全性分類精度	—	95.62%	84.54%	85.88%	85.83%

• Safe RLHF の三つのイテレーションは、ベースライン RLHF に比べて有用性を大幅に高め、誤って有害な応答を減少させる。
• 分離されたアノテーションは評者間の一致度を高め、研究者との整合性を改善し、PPO の訓練成果を高める。
• ダイナミックなラグランジアンバランスは、有用性と無害性のトレードオフを管理する際、静的な報酬設計より優れている。
• 安全性ラベリングを含むコストモデルは、安全性分類子のみの信号より無害性の改善に寄与する。
• Beaver-v3（3 回のイテレーション後の Beaver）では、評価プロンプトでの有害応答が大幅に減少（53.08% から 2.45% へ）している。
• GPT-4 および人間評価は、反復ごとに有用性と無害性の両方で一貫した Elo スコアの改善を示している。