[논문 리뷰] RewardBench: Evaluating Reward Models for Language Modeling

Nathan Lambert, Valentina Pyatkin외 10명|arXiv (Cornell University)|2024. 03. 20.

Topic Modeling인용 수 4

한 줄 요약

RewardBench는 언어 모델의 강화 학습에서 인간 피드백을 활용한 학습(RLHF)에 사용되는 보상 모델(RM)을 평가하기 위한 종합적인 벤치마크 데이터셋과 코드베이스를 소개한다. 이는 안전성, 추론, 채팅 도메인에서의 구조적이고 분포 외의 프롬프트를 대상으로 다양한 RM—분류기 기반 및 Direct Preference Optimization(DPO)로 훈련된 모델—을 평가하며, 특히 DPO 모델의 거부 행동, 추론 능력, 일반화 능력에 대한 핵심적 한계를 드러낸다.

ABSTRACT

Reward models (RMs) are at the crux of successfully using RLHF to align pretrained models to human preferences, yet there has been relatively little study that focuses on evaluation of those models. Evaluating reward models presents an opportunity to understand the opaque technologies used for alignment of language models and which values are embedded in them. Resources for reward model training and understanding are sparse in the nascent open-source community around them. To enhance scientific understanding of reward models, we present RewardBench, a benchmark dataset and code-base for evaluation. The RewardBench dataset is a collection of prompt-chosen-rejected trios spanning chat, reasoning, and safety, to benchmark how reward models perform on challenging, structured and out-of-distribution queries. We create specific comparison datasets for RMs that have subtle, but verifiable reasons (e.g. bugs, incorrect facts) why one answer should be preferred to another. On the RewardBench leaderboard, we evaluate reward models trained with a variety of methods, such as the direct MLE training of classifiers and the implicit reward modeling of Direct Preference Optimization (DPO). We present many findings on propensity for refusals, reasoning limitations, and instruction following shortcomings of various reward models towards a better understanding of the RLHF process.

연구 동기 및 목표

• 보상 모델(RM)에 대한 체계적인 평가 부족 문제를 해결하기 위해, RLHF의 핵심 요소이지만 인간의 선호도와 일치시키는 데 중요한 역할를 하면서도 여전히 연구가 부족한 RM의 평가를 위한 체계를 마련하고자 한다.
• 분류기 기반 및 DPO로 훈련된 모델을 포함한 다양한 RM 아키텍처를 구조적이고 분포 외의 쿼리에서 평가할 수 있는 통합된 벤치마크 데이터셋과 코드베이스를 구축하고자 한다.
• 다양하고 인간이 검증한 프롬프트-선택/기각 쌍을 기반으로 표준화된 랭킹리스트를 통해 개방형 가중치를 가진 보상 모델의 현재 상태를 맵핑하고자 한다.
• 특히 DPO 기반 모델의 일반화 능력과 내성적 안정성에 대해, 완성본 간 미세한 차이가 있는 선호도 평가 세트에서 평가하고자 한다.
• 모든 데이터, 추론 도구, 시각화 지원을 포함한 재현 가능한 평가 프레임워크를 공개하여 RM 행동과 정렬 성질에 대한 심층적 분석을 가능하게 하고자 한다.

제안 방법

• 저자들은 채팅, 추론, 안전성 세 도메인에서 인간이 검증한 선호되는 완성본과 기각된 완성본을 포함한 프롬프트-승리-패배 삼중항 데이터셋을 수집한다.
• 각 데이터 포인트는 프롬프트와 함께 선택된(선호됨) 및 기각된(덜 선호됨) 완성본으로 구성되며, 사실 오류, 논리적 오류 또는 윤리적 문제와 같은 미세한 차이를 테스트하기 위해 의도적으로 설계되어 있다.
• 벤치마크는 최신 최고 수준의 RM이 거의 100퍼센트 정확도를 기록하는 쉬운 샘플과, 심지어 최고 수준의 모델이라도 60~70퍼센트 정확도에 그치는 어려운 샘플을 포함하여, 모델의 내성적 안정성 평가를 가능하게 한다.
• 평가 프레임워크는 MLE 분류 기반으로 훈련된 모델(예: UltraRM, Starling)과 DPO로 미세조정된 모델(예: Zephyr, Qwen-Chat, Tulu 2)을 포함한 다양한 RM의 추론을 지원한다.
• HF.co/spaces/allenai/reward-bench에서 공개 랭킹리스트를 운영하여 지속적인 모델 비교 및 데이터셋 기반 성능 추적을 가능하게 한다.
• 코드베이스는 공통의 추론 스택, 시각화 도구, 모든 텍스트-점수 쌍에 대한 액세스를 제공하여 RM 행동과 결정 경계에 대한 추가 분석을 가능하게 한다.

Figure 1: The scoring method of the RewardBench evaluation suite. Each prompt is accompanied by a chosen and rejected completion which are independently rated by a reward model.

실험 결과

연구 질문

• RQ1 분류기 기반 보상 모델과 DPO로 훈련된 모델 간에 다양한 분포 외의 선호도 평가 작업에서 일반화 능력과 내성적 안정성 측면에서 어떤 차이가 있는가?
• RQ2 보상 모델은 어느 정도의 거부 행동을 보이며, 이는 예를 들어 민감한 주제나 가상의 폭력성에 대한 프롬프트 유형에 따라 어떻게 달라지는가?
• RQ3 완성본에 미세한 논리적 오류나 사실 오류가 존재할 경우, 현재 보상 모델의 추론 능력과 사실 일관성에 어떤 한계가 있는가?
• RQ4 DPO 기반 모델은 표준 선호도 평가 벤치마크에서 얼마나 잘 성과를 내며, 훈련 분포 외로의 일반화 능력은 어떠한가?
• RQ5 보상 모델의 주요 실패 유형은 무엇이며, 이는 안전성, 추론, 지시 따르기 등의 특정 프롬프트 유형과 어떻게 관련이 있는가?

주요 결과

• DPO로 훈련된 모델는 인기와 훈련 용이성에도 불구하고 표준 선호도 평가 테스트 세트에 대한 일반화 능력이 떨어지고 성능 변동성이 높은 편이다.
• 분류기 기반 보상 모델, 예를 들어 UltraRM 및 Starling는 동일한 벤치마크에서 DPO 모델보다 일관되게 뛰어난 성능을 보이며, 특히 어려운 분포 외 샘플에서 두드러진다.
• 많은 보상 모델이 폭력성이나 민감한 주제를 포함한 프롬프트에 대해 높은 거부 비율을 보이는데, 이는 허구적이거나 가정적인 경우조차도 과도하게 안전성 정렬이 이루어지고 있음을 시사한다.
• XSTest Should Respond 서브셋에서 모델은 비록 프롬프트가 해로운 것이나 허구적이더라도 자주 응답을 거부한다. 이는 모호하거나 극단적인 케이스 상황에서 과도한 거부 성향이 있음을 드러낸다.
• 최신 최고 수준의 모델이라도 가장 어려운 샘플에서 60~70퍼센트의 정확도에 그치며, 현재 보상 모델가 미세한 추론 및 사실 일관성에 여전히 어려움을 겪고 있음을 시사한다.
• 벤치마크는 심지어 뛰어난 성능을 보이는 보상 모델도 경미한 사실 오류나 논리적 일관성 결함이 있는 프롬프트에서 실패하는 것을 드러내며, 보상 모델이 미묘한 인간의 선호도를 신뢰할 수 있게 포괄하지 못할 수 있음을 시사한다.

Figure 2: The distribution of rewards outputted by reward models for the chosen and rejected responses in the RewardBench dataset. A large variety of model behaviors exist among open reward models. Some top scoring models, such as Starling and UltraRM show an increased margin between the mean of the