[논문 리뷰] Reward Modeling for Reinforcement Learning-Based LLM Reasoning: Design, Challenges, and Evaluation

Pei-Chi Pan, Yingbin Liang외 1명|arXiv (Cornell University)|2026. 02. 10.

Topic Modeling인용 수 1

한 줄 요약

이 논문은 보상 모델링이 LLM 추론 정렬의 중심임을 주장하고, Reasoning-Aligned Reinforcement Learning (RARL)이라는 모델 기반, 규칙 기반 및 자기 보상 설계를 위한 통합 프레임워크를 도입하며, RL-조정 추론에서의 보상 해킹과 평가를 탐구한다.

ABSTRACT

Large Language Models (LLMs) demonstrate transformative potential, yet their reasoning remains inconsistent and unreliable. Reinforcement learning (RL)-based fine-tuning is a key mechanism for improvement, but its effectiveness is fundamentally governed by reward design. Despite its importance, the relationship between reward modeling and core LLM challenges--such as evaluation bias, hallucination, distribution shift, and efficient learning--remains poorly understood. This work argues that reward modeling is not merely an implementation detail but a central architect of reasoning alignment, shaping what models learn, how they generalize, and whether their outputs can be trusted. We introduce Reasoning-Aligned Reinforcement Learning (RARL), a unifying framework that systematizes diverse reward paradigms for multi-step reasoning. Within this framework, we present a taxonomy of reward mechanisms, analyze reward hacking as a pervasive failure mode, and examine how reward signals unify challenges ranging from inference-time scaling to hallucination mitigation. We further critically evaluate existing benchmarks, highlighting vulnerabilities such as data contamination and reward misalignment, and outline directions for more robust evaluation. By integrating fragmented research threads and clarifying the interplay between reward design and fundamental reasoning capabilities, this work provides a foundational roadmap for building reasoning models that are robust, verifiable, and trustworthy.

연구 동기 및 목표

• LLM 추론을 위한 보상 모델링에 관한 최근 연구를 통합된 Reasoning-Aligned Reinforcement Learning (RARL) 프레임워크 내에서 정리하고 통합한다.
• 모델 기반, 규칙 기반, 그리고 자기 보상 패러다임으로 보상 설계를 분류하고 각 강점과 한계를 분석한다.
• 보상 해킹을 만연한 실패 모드로 분석하고 이를 완화하기 위한 전략을 논의한다.
• 추론 과제에서의 현재 벤치마크와 평가 편향을 평가하고 강건한 평가의 방향을 제시한다.
• 금융 및 의학 등 도메인에서 보상 주도 추론의 실용적 응용과 함의를 탐구한다.

제안 방법

• RL을 마르코프 결정 과정으로 형식화하여 상태, 행동, 보상, 역학, 그리고 수평선을 정의한다.
• 아키텍처(판별적 대 생성적), 세분성(결과 대 과정), 보상 의미론(정확성, 가치, 형성)으로 모델 기반 보상 모델의 분류 체계를 제시한다.
• 정확성 기반, 가치 기반, 프로세스 및 결과 신호에 대한 포텐셜 기반 보상 형성의 세 가지 의미를 신호로 구분한다.
• 모델 기반 보상 모델 변형(판별적 및 생성적, 스텝- 및 토큰 단위 공식 포함)과 학습 방법(BT 손실, BCE, SFT 등)을 분석한다.
• 보상 해킹, 크레딧 할당, 분포 편향, 임무 전환과 같은 도전과제를 분석하고 보상 설계가 테스트 시 확장성, 효율성, 편향 완화, 보강 추론과 연결되는 방식을 제시한다.
• 벤치마크의 취약점 및 데이터 오염 같은 평가 방법론과 실용적 응용을 검토한다.

실험 결과

연구 질문

• RQ1 다양한 보상 모델링 패러다임이 LLM의 추론 학습, 일반화, 신뢰성에 어떤 영향을 미치는가?
• RQ2 RL 기반 추론에서의 주요 실패 모드(예: 보상 해킹, 편향, 불일치)와 보상 설계가 이를 어떻게 완화할 수 있는가?
• RQ3 보상 신호가 추론 시 확장성, 환각 완화, 보강 추론과 같은 시스템 차원의 문제를 어떻게 통일하고 해결하는가?
• RQ4 RL-조정 LLM의 추론에 대한 현재 벤치마크의 한계는 무엇이며 평가를 더 강건하게 만들 수 있는가?
• RQ5 금융 및 의학과 같은 도메인에서 보상 주도 추론 방법의 실용적 함의는 무엇인가?

주요 결과

• 생성적 보상 모델이 판별적 대안보다 일반화와 해석 가능성에서 더 강력한 경우가 많다.
• 프로세스 보상은 최종 답변(결과) 보상보다 다단계 추론에 더 세밀한 지침을 제공한다.
• 가치 기반 신호와 정확성 기반 신호는 보완적일 수 있어 추론 품질의 다른 측면을 다룬다.
• 보상 해킹은 아키텍처, 감독, 평가를 아우르는 통합 전략이 필요한 지배적 실패 모드이다.
• 평가 벤치마크는 데이터 오염과 보상 불일치와 같은 취약점을 보여주며 더 강건한 평가 프레임워크가 필요하다.
• 보상 신호는 전통적 학습 시점 목표를 넘어서 추론 시기 추론, 편향 완화, 보강 추론을 개선하는 단일 메커니즘 역할을 할 수 있다.