[論文レビュー] Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback

Yuntao Bai, Andy Jones+29 more|arXiv (Cornell University)|Apr 12, 2022

Topic Modeling被引用数 360

ひとこと要約

本論文は、嗜好モデリングと RLHF によって言語モデルを有用かつ無害にすることを目指し、オンラインでの反復訓練、ロバスト性、および有用性と無害性のトレードオフをモデルサイズとタスクを跨いで分析する。

ABSTRACT

We apply preference modeling and reinforcement learning from human feedback (RLHF) to finetune language models to act as helpful and harmless assistants. We find this alignment training improves performance on almost all NLP evaluations, and is fully compatible with training for specialized skills such as python coding and summarization. We explore an iterated online mode of training, where preference models and RL policies are updated on a weekly cadence with fresh human feedback data, efficiently improving our datasets and models. Finally, we investigate the robustness of RLHF training, and identify a roughly linear relation between the RL reward and the square root of the KL divergence between the policy and its initialization. Alongside our main results, we perform peripheral analyses on calibration, competing objectives, and the use of OOD detection, compare our models with human writers, and provide samples from our models using prompts appearing in recent related work.

研究の動機と目的

• 嗜好モデリング (PM) と RLHF が言語モデルを有用かつ無害に整合させることができるかを調査する。
• オンラインで反復的に行う RLHF 訓練がモデル性能とデータセット品質に与える影響を検討する。
• モデル規模間での較正性・ロバスト性と有用性と無害性のトレードオフを評価する。
• 専門的スキル（例：コーディング、要約）との整合性およびOOD検知との適合性を探る。
• 複数のNLPベンチマークにおける能力および安全性指標に対する整合性の影響を評価する。

提案手法

• 52B規模モデルと相互作用するクラウドワーカーを通じて、有用性と無害性（レッドチーミング）それぞれの人間の好みデータを収集する。
• 好みデータを用いて好みモデル（PM）を訓練し、HFデータでファインチューニングする前に事前訓練ステップ（PMP）を行う。
• PMスコアを報酬として用い、PMに基づく報酬でモデルをファインチューニングするためにRLHFを適用する。
• 標準的なNLPベンチマークと専門的スキルに対するPMの精度・較正、およびRLHFモデルの性能を評価する。
• PMおよびRLHFポリシーのオンライン・週次更新を調査し、データ分割や過学習に対するロバストネスを分析する。
• エロ風の対戦型比較（Eloスタイル）を用いてモデルを比較し、それをPMスコアとRLHF報酬に変換する。

実験結果

リサーチクエスチョン

• RQ1 有用性と無害性データで訓練されたPMは、能力を犠牲にせずにモデルの整合性を向上させるか？
• RQ2 オンライン/反復的 RLHF が時間とともにデータセット品質およびモデル性能にどう影響するか？
• RQ3 初期化からのKLダイバージェンスと訓練中のRL報酬との関係は何か？
• RQ4 有用性と無害性の間の緊張は何であり、モデルサイズがそれにどう影響するか？
• RQ5 整合技術は専門的スキルへの一般化や安全性のためのOOD検知の利用に適用できるか？

主な発見

• RLHFで訓練されたモデルは、ベースモデルと比較してほとんどのNLP評価で改善されており、整合性の利点はモデルサイズとともに拡大する。
• 有用性データと無害性データの混合は、いずれか一方だけを訓練した場合よりも、全体的な挙動を改善し、有害な要求に対する丁寧な拒否を含む。
• 初期化からのKLダイバージェンスの平方根と訓練中に観測されるRL報酬との間には、おおよそ線形の関係がある。
• 新しいデータで毎週更新される反復型オンラインRLHFは、静的訓練と比べてモデル品質とデータセットの有用性を実質的に向上させる。
• OOD検出は、奇妙なまたは有害な要求を最小限の損害で効果的に排除でき、安全性を高めつつ性能の大きな低下を避けられる。
• 小規模スケールでは有用性と無害性の間に顕著な緊張があるが、モデルサイズが大きくなるにつれてそれは和らぐ。