[論文レビュー] Secrets of RLHF in Large Language Models Part II: Reward Modeling

Binghai Wang, Rui Zheng+25 more|arXiv (Cornell University)|Jan 11, 2024

Topic Modeling被引用数 7

ひとこと要約

本論文は、RLHF の報酬モデルを改善することを、嗜好の強さを測定し、ノイズのある/曖昧なデータを軽減し、対照学習とメタ学習を通じて一般化を高め、反復的な RLHF を可能にする、という点で探究している。

ABSTRACT

Reinforcement Learning from Human Feedback (RLHF) has become a crucial technology for aligning language models with human values and intentions, enabling models to produce more helpful and harmless responses. Reward models are trained as proxies for human preferences to drive reinforcement learning optimization. While reward models are often considered central to achieving high performance, they face the following challenges in practical applications: (1) Incorrect and ambiguous preference pairs in the dataset may hinder the reward model from accurately capturing human intent. (2) Reward models trained on data from a specific distribution often struggle to generalize to examples outside that distribution and are not suitable for iterative RLHF training. In this report, we attempt to address these two issues. (1) From a data perspective, we propose a method to measure the strength of preferences within the data, based on a voting mechanism of multiple reward models. Experimental results confirm that data with varying preference strengths have different impacts on reward model performance. We introduce a series of novel methods to mitigate the influence of incorrect and ambiguous preferences in the dataset and fully leverage high-quality preference data. (2) From an algorithmic standpoint, we introduce contrastive learning to enhance the ability of reward models to distinguish between chosen and rejected responses, thereby improving model generalization. Furthermore, we employ meta-learning to enable the reward model to maintain the ability to differentiate subtle differences in out-of-distribution samples, and this approach can be utilized for iterative RLHF optimization.

研究の動機と目的

• 不正確で曖昧な嗜好データが RLHF における報酬モデルにどのように影響するかを特定する。
• 嗜好の強さを測定し活用して RM の品質を改善する方法を提案する。
• データレベルおよびアルゴリズムレベルの戦略（対照学習、メタ学習）を開発し、RM の一般化を高め、反復的な RLHF を可能にする。

提案手法

• 多モデル報酬投票によって不正確/曖昧/通常データを識別する嗜好強度指標を定式化する。
• ノイズのある嗜好を緩和し RM の頑健性を向上させるためにラベル反転とラベル平滑化を適用する。
• 嗜好強度に guided された RM 損失の adaptive margin を導入し、識別力を高める。
• RM 損失とともに教師なし対照学習損失（SwAV/SimCSE）を取り入れて特徴の判別力を向上させる。
• Policy 分布の PPO 中のシフトに対して RM の識別力を維持するための MetaRM を導入する。

実験結果

リサーチクエスチョン

• RQ1 不正確で曖昧な嗜好データは RLHF における報酬モデルの性能にどのように影響するのか？
• RQ2 データ駆動の嗜好強度指標は報酬モデルの品質と安定性を改善できるのか？
• RQ3 対照学習とメタ学習は RM の一般化を向上させ、分布外データへの適応と反復的な RLHF を可能にするのか？
• RQ4 嗜好のノイズを緩和しつつ有用な信号を保持する最適な学習戦略（ラベル反転、平滑化、適応マージン）は何か？

主な発見

• 嗜好強度は注釈の品質と複数の報酬モデル間の合意と相関する。
• 低強度/ノイズのあるデータを反転や平滑化で除去・調整することは RM の安定性と RLHF の結果を改善する。
• 適応マージンとソフトラベルは、強い嗜好から堅牢に学習させ、過剰適合を緩和するのに役立つ。
• 対照学習（特に SimCSE）は PPO の学習をより安定させ、害のない/有用な評価でわずかな改善をもたらす。
• MetaRM はポリシー分布のシフト下での応答の識別力を改善し、反復的な RLHF を支援する。