[논문 리뷰] Optimistic Policy Optimization with Bandit Feedback

Yonathan Efroni, Lior Shani외 2명|arXiv (Cornell University)|2020. 02. 19.

Advanced Bandit Algorithms Research참고 문헌 47인용 수 11

한 줄 요약

이 논문은 전이 확률이 알려져 있지 않고 벤치마크 피드백(bandit feedback)이 있는 표본 유한시간 MDP에서 모델 기반 강화학습을 위한 낙관적 정책 최적화 알고리즘을 제안한다. 확률적 보상의 경우 $×\tilde{O}(\sqrt{S^{2}AH^{4}K})$의 손실을 달성하고, 악성 보상의 경우 $\tilde{O}(\sqrt{S^{2}AH^{4}}K^{2/3})$의 손실을 달성하며, 이러한 조건 하에서 정책 최적화에 대해 처음으로 비선형 손실 경계를 확립한다.

ABSTRACT

Policy optimization methods are one of the most widely used classes of Reinforcement Learning (RL) algorithms. Yet, so far, such methods have been mostly analyzed from an optimization perspective, without addressing the problem of exploration, or by making strong assumptions on the interaction with the environment. In this paper we consider model-based RL in the tabular finite-horizon MDP setting with unknown transitions and bandit feedback. For this setting, we propose an optimistic trust region policy optimization (TRPO) algorithm for which we establish $ ilde O(\sqrt{S^2 A H^4 K})$ regret for stochastic rewards. Furthermore, we prove $ ilde O( \sqrt{ S^2 A H^4 } K^{2/3} ) $ regret for adversarial rewards. Interestingly, this result matches previous bounds derived for the bandit feedback case, yet with known transitions. To the best of our knowledge, the two results are the first sub-linear regret bounds obtained for policy optimization algorithms with unknown transitions and bandit feedback.

연구 동기 및 목표

• 전이 확률이 알려져 있지 않고, 모델 프리(model-free) 및 벤치마크 피드백 설정에서 정책 최적화에 대한 이론적 손실 보장이 부족한 문제를 해결한다.
• 어려운 탐색 환경에서 정책 최적화 알고리즘과 그 이론적 성능 간 격차를 좁힌다.
• 단일쇄 MDP나 집중성 계수(concentrability coefficients)와 같은 제약 조건이 없는 조건 하에서 확률적 및 악성 보상 환경 모두에서 비선형 손실 경계를 확립한다.
• 정책 최적화에서 낙관적 접근과 벤치마크 피드백을 융합한 새로운 분석 프레임워크를 제공한다. 이는 효율적인 탐색을 가능하게 한다.

제안 방법

• 값 함수에 대한 신뢰구간을 유지하고, 벤치마크 피드백을 위해 중요도 샘플링을 사용하는 낙관적 정책 최적화 알고리즘(POMD)을 제안한다.
• 미러 디센트(mirror descent)와 Bregman 발산을 기반으로 한 상태별 닫힌 형태의 정책 업데이트 규칙을 도입하여 효율적인 최적화를 가능하게 한다.
• 전이 모델과 보상 추정에 대한 신뢰구간에서 유도된 보너스 항을 비용 함수에 추가하여 탐색을 장려한다.
• 낙관적 계획의 구조를 활용하여 진짜 모델과 추정 모델 간의 방문 빈도 차이에 대한 새로운 농도 불등식을 적용한다.
• 모든 상태와 에피소드에 대한 유니온 바운드를 활용하여 진짜와 추정된 상태-행동 방문 빈도의 차이에 대한 고확률 경계를 적용한다.
• 마팅갈 농도를 사용하여 총 손실을 추정 오차, 최적화 오차, 탐색 보너스 항으로 분해함으로써 손실 경계를 유도한다.

실험 결과

연구 질문

• RQ1 전이 확률이 알려져 있지 않고, 오직 벤치마크 피드백만 있는 표본 MDP에서 정책 최적화 알고리즘이 비선형 손실을 달성할 수 있는가?
• RQ2 동일한 벤치마크 피드백 설정 하에서 정책 최적화의 성능은 점유도 측정 기반 방법과 비교해 어떻게 되는가?
• RQ3 벤치마크 피드백 하에서 손실이 에피소드 수 $K$, 상태공간 크기 $S$, 행동공간 크기 $A$, 그리고 수평 $H$에 대해 최적의 의존성을 가지는가?
• RQ4 불확실성에 대한 낙관적 접근을 부분 피드백 하에서 정책 그래디언트 스타일 업데이트와 효과적으로 융합할 수 있는가?
• RQ5 오직 벤치마크 피드백만 있는 상황에서, 전체 정보 설정에서 유도된 최신 기준 손실 경계를 달성할 수 있는가?

주요 결과

• 제안된 POMD 알고리즘은 확률적 보상의 경우 $×\tilde{O}(\sqrt{S^{2}AH^{4}K})$의 손실을 달성하며, 이는 전체 정보 설정에서 알려진 최고의 경계와 일치한다.
• 악성 보상의 경우, 알고리즘은 $\tilde{O}(\sqrt{S^{2}AH^{4}}K^{2/3})$의 손실을 달성하며, 이는 Neu 등(2010a)의 전체 정보 설정에서의 낙관적 정책 최적화에 대한 상한과 일치한다.
• 이 손실 경계는 전이 확률이 알려져 있지 않고 벤치마크 피드백이 있는 정책 최적화에 대해 처음으로 비선형 결과를 제공하며, 핵심 이론적 격차를 메운다.
• 분석 결과, 값 함수에 대한 낙관적 접근와 모델 추정을 벤치마크 피드백 하에서 정책 업데이트와 효과적으로 융합할 수 있음을 보여준다.
• 악성 보상 시퀀스에 대해서도 알고리즘의 성능이 안정적이며, 이는 악성 경우의 $K^{2/3}$ 의존성으로 입증된다.
• 이 방법은 집중성 계수나 단일쇄 가정에 의존하지 않으며, 이는 종종 실용적으로 구현이 불가능하거나 무한대가 되는 경우가 많기 때문이다.