[논문 리뷰] Dueling Posterior Sampling for Preference-Based Reinforcement Learning

Ellen Novoseller, Yibing Wei외 3명|arXiv (Cornell University)|2019. 08. 04.

Advanced Bandit Algorithms Research참고 문헌 62인용 수 6

한 줄 요약

이 논문은 후행 샘플링과 상태-행동 보상 모델을 통한 책임 할당을 조합하여 궤적 수준의 선호도 피드백에서 학습하는 베이지안 강화학습 알고리즘인 듀얼링 포스트리어어 샘플링(Dueling Posterior Sampling, DPS)을 소개한다. 이는 선호도 기반 강화학습에서 첫 이론적 리그레트 보장을 달성하며, 베이지안 선형 회귀 책임 할당 모델을 사용하여 渐진적 베이지안 무리그레트 수렴을 증명한다.

ABSTRACT

In preference-based reinforcement learning (RL), an agent interacts with the environment while receiving preferences instead of absolute feedback. While there is increasing research activity in preference-based RL, the design of formal frameworks that admit tractable theoretical analysis remains an open challenge. Building upon ideas from preference-based bandit learning and posterior sampling in RL, we present DUELING POSTERIOR SAMPLING (DPS), which employs preference-based posterior sampling to learn both the system dynamics and the underlying utility function that governs the preference feedback. As preference feedback is provided on trajectories rather than individual state-action pairs, we develop a Bayesian approach for the credit assignment problem, translating preferences to a posterior distribution over state-action reward models. We prove an asymptotic Bayesian no-regret rate for DPS with a Bayesian linear regression credit assignment model. This is the first regret guarantee for preference-based RL to our knowledge. We also discuss possible avenues for extending the proof methodology to other credit assignment models. Finally, we evaluate the approach empirically, showing competitive performance against existing baselines.

연구 동기 및 목표

• 절대 보상이 제공되지 않는 상황에서 희박하고 상대적인 선호도 피드백으로부터 학습하는 데 도전하는 것.
• 쌍별 궤적 선호도로부터 환경의 동역학과 잠재 보상 함수를 함께 학습할 수 있는 실현 가능한 베이지안 프레임워크를 개발하는 것.
• 궤적 수준의 선호도를 상태-행동 보상 모델로 매핑하여 시간적 책임 할당 문제를 해결하는 것.
• 선호도 기반 강화학습 알고리즘에 대해 최초의 이론적 리그레트 분석을 제공하고, 渐진적 무리그레트 수렴을 확립하는 것.
• 다양한 환경에서 DPS를 경험적으로 검증하여 책임 할당 모델 및 하이퍼파라미터 선택에 대한 강건성을 입증하는 것.

제안 방법

• DPS는 각 에피소드당 두 개의 독립적인 궤적을 생성하기 위해 후행 샘플링을 사용하여 쌍별 비교를 통한 선호도 기반 학습을 가능하게 한다.
• 상태-행동 보상 모델에 대한 베이지안 사후분포를 유지하며, 선호도 피드백을 통해 어떤 행동과 상태가 선호되는 결과에 기여하는지에 대한 믿음을 갱신한다.
• 책임 할당 모델로는 베이지안 선형 회귀 또는 가우시안 프로세스 회귀를 사용하여 궤적 수준의 선호도를 각 상태-행동 보상 추정치로 변환한다.
• 정보 이론 기반 기법을 통합하여 베이지안 리그레트를 근사하고, 학습 수렴에 대한 이론적 분석을 가능하게 한다.
• 선호도 피드백는 궤적 간 누적 보상 차이의 확률적 함수로 모델링되며, 노이즈는 로지스틱 또는 가우시안 프로세스로 모델링된다.
• 책임 할당 모델의 하이퍼파라미터(예: $σ$, $λ$, $\sigma_f^2$, $l$)는 다양한 환경에서의 경험적 검증을 통해 조정된다.

실험 결과

연구 질문

• RQ1 후행 샘플링은 궤적 수준의 선호도 피드백을 다룰 수 있도록 강화학습에 확장될 수 있는가?
• RQ2 희박하고 상대적인 선호도를 각 상태-행동 보상으로 매핑하기 위해 책임 할당을 어떻게 수학적으로 정의할 수 있는가?
• RQ3 베이지안 설정에서 선호도 기반 강화학습 알고리즘에 대해 어떤 이론적 보장을 확립할 수 있는가?
• RQ4 제안된 방법은 책임 할당 모델 및 하이퍼파라미터의 변동에 대해 얼마나 강건한가?
• RQ5 기존의 선호도 기반 강화학습 베이스라인과 비교해 경쟁력 있는 성능을 달성하는가?

주요 결과

• DPS는 베이지안 선형 회귀 책임 할당 모델을 사용하여 渐진적 베이지안 무리그레트 수렴을 달성하며, 선호도 기반 강화학습에서 최초의 리그레트 보장을 확립한다.
• 랜덤 MDP, 마운틴카, 리버스위밍 환경에서의 경험적 평가 결과, DPS는 누적 보상 측면에서 기존 베이스라인을 일관되게 능가하거나 동등하게 유지한다.
• 모든 테스트 환경에서 하이퍼파라미터 선택에 대해 강건성을 보이며, 30~100회 반복 실험에서도 안정된 성능을 유지한다.
• 로지스틱 노이즈를 포함한 다양한 사용자 노이즈 모델 조건에서도 성능이 유지되어, 노이즈가 있는 선호도 피드백에 대한 내성적 강건성을 보인다.
• 책임 할당 모델의 선택(예: GP, 베이지안 로지스틱 회귀)이 최종 성능에 미치는 영향은 미미하여 일반화 가능성에 유리하다.
• 이론적 분석은 후행 샘플링 리그레트에 대한 정보 이론적 경계를 기반으로 하며, 이는 선호도 피드백 설정으로 확장되었다.