[논문 리뷰] Direct Preference-based Policy Optimization without Reward Modeling

Gaon An, Junhyeok Lee외 4명|arXiv (Cornell University)|2023. 01. 30.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 인간의 선호도 레이블을 사용하여 보상 모델링을 생략하고 대비 학습 프레임워크를 통해 직접 정책을 최적화하는 선호 기반 강화학습 방법인 Direct Preference-based Policy Optimization (DPPO)를 제안한다. 이는 인간의 선호도 레이블을 사용하는 오프라인 강화학습 벤치마크에서 최신 기술 수준의 성능을 달성하며, 고차원 제어 과제에서 진정한 보상 함수를 사용하는 방법들을 능가한다.

ABSTRACT

Preference-based reinforcement learning (PbRL) is an approach that enables RL agents to learn from preference, which is particularly useful when formulating a reward function is challenging. Existing PbRL methods generally involve a two-step procedure: they first learn a reward model based on given preference data and then employ off-the-shelf reinforcement learning algorithms using the learned reward model. However, obtaining an accurate reward model solely from preference information, especially when the preference is from human teachers, can be difficult. Instead, we propose a PbRL algorithm that directly learns from preference without requiring any reward modeling. To achieve this, we adopt a contrastive learning framework to design a novel policy scoring metric that assigns a high score to policies that align with the given preferences. We apply our algorithm to offline RL tasks with actual human preference labels and show that our algorithm outperforms or is on par with the existing PbRL methods. Notably, on high-dimensional control tasks, our algorithm surpasses offline RL methods that learn with ground-truth reward information. Finally, we show that our algorithm can be successfully applied to fine-tune large language models.

연구 동기 및 목표

• 인간의 선호도 데이터로부터 정확한 보상 모델을 학습하는 데 도전하는 것. 이는 종종 신뢰할 수 없거나 구축하기 어려운 경우가 많기 때문이다.
• 보상 모델링 이후 정책 최적화의 이중 단계 파ip라인을 제거하여 오류 전파를 줄이고 학습 과정을 단순화하는 것.
• 보상 함수에 대한 가정 없이 선호 신호를 직접 활용하여 오프라인 강화학습에서 데이터 효율성과 확장성을 향상시키는 것.
• 보상 모델링이 필요 없이 인간의 선호도 피드백을 사용하여 대규모 언어 모델의 효과적인 피지테이닝을 가능하게 하는 것.
• 실제 보상 함수에 의존하는 방법보다 선호도에서 직접 정책 최적화하는 것이 복잡한 제어 환경에서 슈퍼어리어 성능을 낼 수 있음을 보여주는 것.

제안 방법

• 정책 최적화를 대비 학습 문제로 공식화하여, 선호되는 궤적 세그먼트를 양성 쌍으로 간주하고 덜 선호되는 것을 음성 쌍으로 간주한다.
• 선호되는 세그먼트의 임베딩 공간에서 더 가까운 궤적을 생성하는 정책에 대해 높은 점수를 할당하는 새로운 정책 점수 측정 기준을 도입한다.
• 대비 목적함수는 정책이 선호되는 궤적과 표현상 더 가까이, 덜 선호되는 궤적과 더 멀리 있도록 유도한다.
• 대비 목적함수에서 사용되는 선호도 예측기의 일반화 능력과 강건성을 향상시키기 위해 예측의 부드러움 정규화 항을 적용한다.
• 보상 함수 추정이나 보상 모델 훈련이 필요 없이 인간이 제공한 선호도 레이블이 포함된 오프라인 데이터셋에서 직접 작동한다.
• 지속적 제어 환경과 대규모 언어 모델 피지테이닝 양쪽 모두에서 평가하여 광범위한 적용 가능성을 입증한다.

Figure 1 : An overview of the difference between our approach (below) and the baselines (top). Our approach does not require modeling the reward from the preference predictor as our policy optimization algorithm can learn directly from preference labels.

실험 결과

연구 질문

• RQ1 보상 모델 학습 없이 인간의 선호도 레이블에서 직접 정책을 효과적으로 최적화할 수 있는가?
• RQ2 정책 점수에 대한 대비 학습 프레임워크가 보상 모델 기반 PbRL 방법보다 더 뛰어난 성능을 낼 수 있는가?
• RQ3 고차원 제어 과제에서 진정한 보상 함수를 사용하는 오프라인 RL 방법보다 직접 선호 기반 최적화가 슈퍼어리어 성능을 낼 수 있는가?
• RQ4 다양한 오프라인 RL 벤치마크에서 제안된 방법의 데이터 효율성과 성능이 어떻게 스케일링되는가?
• RQ5 이 방법은 인간 피드백을 사용하여 대규모 언어 모델을 성공적으로 피지테이닝하는 데 적용될 수 있는가?

주요 결과

• 제안된 DPPO 방법은 인간의 선호도 레이블이 포함된 모든 평가된 오프라인 RL 과제에서 기존 PbRL 베이스라인을 능가하거나 동등하게 성능을 내며, 우수한 성능을 보였다.
• Hopper 및 Ant와 같은 고차원 제어 과제에서 DPPO는 진정한 보상 정보를 사용하는 오프라인 RL 방법을 능가하여 더 뛰어난 데이터 효율성과 확장성을 입증했다.
• 기존 연구에서 보상 모델이 진정한 보상 구조를 포착하지 못하는 상황에서도, Hopper 환경에서의 정성적 비교를 통해 DPPO가 강력한 성능을 발휘함을 보였다.
• 예측의 부드러움 정규화 항의 포함으로 선호도 예측기의 강건성과 일반화 능력이 향상되어 전체 성능 향상에 기여했다.
• 초기 실험 결과는 DPPO가 인간 피드백을 사용하여 대규모 언어 모델을 성공적으로 피지테이닝하는 데 적용될 수 있음을 확인했으며, 제어 과제를 넘어서 광범위한 적용 가능성을 시사한다.
• 오프라인 RL 환경에서 샘플 효율성과 안정성이 향상되어, 보상 모델링을 피하는 직접 선호 기반 최적화가 보상 모델링 대비 실현 가능하고 효과적인 대안임을 시사한다.

Figure 2 : Predicted reward vs. true reward on the Hopper environment when using a reward model from PbRL [ 27 ] . The reward model fails to accurately capture the underlying reward structure.