[논문 리뷰] Preference-based Reinforcement Learning with Finite-Time Guarantees

Yichong Xu, Ruosong Wang외 3명|arXiv (Cornell University)|2020. 06. 16.

Advanced Bandit Algorithms Research참고 문헌 37인용 수 7

한 줄 요약

이 논문은 유한 시간 보장이 있는 선호 기반 강화 학습 알고리즘인 PEPS를 제안한다. 이 알고리즘은 ε-최적 정책을 찾는 데 있어 최초로 이러한 보장을 제공한다. 합성 보상 추정, 탐색을 위한 듀얼링 밴디트, 정책 탐색을 조합하여 진정한 보상에 접근할 수 없더라도 확률적 선호성 가정과 은닉 보상과의 연결 함수가 있는 조건에서, 높은 확률로 근사 최적 정책으로 수렴한다.

ABSTRACT

Preference-based Reinforcement Learning (PbRL) replaces reward values in traditional reinforcement learning by preferences to better elicit human opinion on the target objective, especially when numerical reward values are hard to design or interpret. Despite promising results in applications, the theoretical understanding of PbRL is still in its infancy. In this paper, we present the first finite-time analysis for general PbRL problems. We first show that a unique optimal policy may not exist if preferences over trajectories are deterministic for PbRL. If preferences are stochastic, and the preference probability relates to the hidden reward values, we present algorithms for PbRL, both with and without a simulator, that are able to identify the best policy up to accuracy $\varepsilon$ with high probability. Our method explores the state space by navigating to under-explored states, and solves PbRL using a combination of dueling bandits and policy search. Experiments show the efficacy of our method when it is applied to real-world problems.

연구 동기 및 목표

• 선호 기반 강화 학습(PbRL)에서 이론적 보장의 부족, 특히 유한 시간 수렴의 부족을 해결하기 위해.
• 수치적 보상 함수가 필요 없이 PbRL 환경에서 ε-최적 정책을 식별할 수 있는 알고리즘을 개발하기 위해.
• 느린 Q-값 추정이나 비싼 사후 분포 샘플링에 의존하지 않도록 효율성과 확장성을 확보하기 위해.
• 모의 시뮬레이터 유무에 관계없이 다양한 PbRL 환경에 적용 가능한 일반적인 프레임워크를 제공하기 위해.
• DPS와 EPMC와 같은 이전 방법들이 느린 수렴과 열악한 탐색으로 인해 약한 성능을 보이는 문제를 극복하기 위해.

제안 방법

• 선호 확률을 추정 보상으로 매핑하는 합성 보상 함수를 제안하여, 직접적인 보상 접근 없이도 정책 최적화가 가능하도록 한다.
• 미탐색 상태에서 높은 보상을 가진 행동을 식별함으로써 탐색을 이끄는 듀얼링 밴디트 알고리즘을 사용한다.
• 선호 피드백과 합성 보상 추정을 조합한 정책 탐색을 통해 정책을 반복적으로 개선한다.
• 선호 확률이 은닉 보상 차이와 어떻게 관련되는지를 모델링하기 위해 연결 함수 가정(선형 선호를 일반화)을 도입한다.
• 샘플 제약 조건 하에서 기존 기준과의 비교를 가능하게 하기 위해 알고리즘의 고정 예산 변형을 설계한다.
• 접근 가능성 기반 상태 선택을 통한 탐색 통합으로, 높은 확률 상태의 커버리지가 보장되도록 한다.

실험 결과

연구 질문

• RQ1 선호가 결정적일 경우, 선호 기반 강화 학습에서 유일한 최적 정책이 존재하는 조건은 무엇인가?
• RQ2 수치적 보상을 접근할 수 없더라도, PbRL에서 ε-최적 정책으로의 유한 시간 수렴을 달성할 수 있는가?
• RQ3 느린 Q-값 추정에 의존하지 않는 효율적인 탐색 전략을 PbRL에서 어떻게 설계할 수 있는가?
• RQ4 선호의 확률적 성격과 연결 함수의 구조가 알고리즘 성능과 샘플 효율성에 미치는 영향은 무엇인가?
• RQ5 DPS와 EPMC와 같은 기존 기준보다 샘플 효율성과 정책 품질 측면에서 뛰어난 PbRL 알고리즘을 개발할 수 있는가?

주요 결과

• 선호가 결정적일 경우, 전이성의 실패가 발생할 수 있으며, 이는 고유한 최적 정책이 존재하지 않음을 의미한다. 이는 확률적 선호성 가정의 필요성을 강조한다.
• PEPS는 일반화된 선형 연결 함수 가정 하에, ε-최적 정책을 유한 시간 보장과 함께 높은 확률로 복원한다.
• 그리드 월드와 무작위 MDP 환경에서, PEPS는 DPS와 EPMC를 모두 능가하며, 특히 저 예산 설정과 근접 결정적 선호성(예: c=0.001) 조건에서 뛰어난 성능을 보인다.
• c=0.001일 경우, PEPS는 거의 모든 실행에서 정확한 최적 정책을 복원하지만, EPMC는 예산 증가에 비해 거의 향상되지 않는다.
• DUeling bandit 기반 탐색은 DPS와 EPMC가 느린 Q-추정으로 인해 거의 무작위로 탐색하는 것과는 달리, 높은 접근 가능성 상태를 효과적으로 커버한다.
• PEPS는 구현이 단순하며, 기존의 가치 기반 강화 학습 및 듀얼링 밴디트 방법을 서브루틴으로 통합할 수 있을 정도로 일반적이다.