[논문 리뷰] Secrets of RLHF in Large Language Models Part II: Reward Modeling

Binghai Wang, Rui Zheng외 25명|arXiv (Cornell University)|2024. 01. 11.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 선호 강도 측정, 노이즈/애매한 데이터 완화, 대조 학습과 메타학습을 통한 일반화 강화로 RLHF의 보상 모델을 개선하고 반복적 RLHF를 가능하게 한다.

ABSTRACT

Reinforcement Learning from Human Feedback (RLHF) has become a crucial technology for aligning language models with human values and intentions, enabling models to produce more helpful and harmless responses. Reward models are trained as proxies for human preferences to drive reinforcement learning optimization. While reward models are often considered central to achieving high performance, they face the following challenges in practical applications: (1) Incorrect and ambiguous preference pairs in the dataset may hinder the reward model from accurately capturing human intent. (2) Reward models trained on data from a specific distribution often struggle to generalize to examples outside that distribution and are not suitable for iterative RLHF training. In this report, we attempt to address these two issues. (1) From a data perspective, we propose a method to measure the strength of preferences within the data, based on a voting mechanism of multiple reward models. Experimental results confirm that data with varying preference strengths have different impacts on reward model performance. We introduce a series of novel methods to mitigate the influence of incorrect and ambiguous preferences in the dataset and fully leverage high-quality preference data. (2) From an algorithmic standpoint, we introduce contrastive learning to enhance the ability of reward models to distinguish between chosen and rejected responses, thereby improving model generalization. Furthermore, we employ meta-learning to enable the reward model to maintain the ability to differentiate subtle differences in out-of-distribution samples, and this approach can be utilized for iterative RLHF optimization.

연구 동기 및 목표

• 잘못되었거나 애매한 선호 데이터가 RLHF의 보상 모델에 어떤 영향을 주는지 식별한다.
• 선호 강도를 측정하고 활용하여 RM 품질을 향상시키는 방법을 제안한다.
• RM 일반화를 향상시키고 반복적 RLHF를 가능하게 하기 위한 데이터 및 알고리즘 차원의 전략(대조 학습, 메타 학습)을 개발한다.

제안 방법

• 잘못되거나 애매한/정상 데이터를 구분하기 위해 다중 모델 보상 투표를 이용한 선호 강도 지표를 정형화한다.
• 노이즈가 있는 선호를 완화하고 RM 강건성을 높이기 위해 레이블 뒤집기(label flipping)와 레이블 스무딩(label smoothing)을 적용한다.
• 선호 강도에 따라 가이딩되는 RM 손실의 적응적 마진을 도입하여 판별력을 향상시킨다.
• RM 손실과 함께 비지도 대조 손실(SwAV/SimCSE)을 도입하여 특징 구분성을 향상시킨다.
• PPO 중 정책 분포의 변화에서도 RM의 판별력을 유지하기 위한 MetaRM을 도입한다.

실험 결과

연구 질문

• RQ1 잘못되었거나 애매한 선호 데이터가 RLHF에서 보상 모델 성능에 어떤 영향을 미치는가?
• RQ2 데이터 기반 선호 강도 지표가 보상 모델의 품질과 안정성을 향상시킬 수 있는가?
• RQ3 대조 학습과 메타 학습이 RM의 분포 밖 데이터에 대한 일반화를 개선하고 반복적 RLHF를 가능하게 하는가?
• RQ4 선호의 노이즈를 효과적으로 줄이면서 유용한 신호를 보존하는 학습 전략은 무엇인가? (레이블 뒤집기, 스무딩, 적응적 마진 포함)

주요 결과

• 선호 강도는 주석 품질 및 여러 보상 모델 간 합의와 상관관계가 있다.
• 낮은 강도/노이즈 데이터의 제거 또는 조정을 레이블 뒤집기나 스무딩으로 수행하면 RM 안정성과 RLHF 결과가 개선된다.
• 적응적 마진과 소프트 레이블링은 강한 선호로부터 RM이 견고하게 학습하고 과적합을 완화하는 데 도움이 된다.
• 대조 학습(특히 SimCSE)이 PPO 훈련을 더 안정시키고 무해/도움이 되는 평가에서 약간의 이점을 준다.
• MetaRM은 정책 분포가 이동하더라도 응답 구별력을 향상시켜 반복적 RLHF를 뒷받침한다.