[논문 리뷰] Reward Biased Maximum Likelihood Estimation for Reinforcement Learning

Akshay Mete, Rahul Singh외 2명|arXiv (Cornell University)|2020. 11. 16.

Advanced Bandit Algorithms Research참고 문헌 37인용 수 6

한 줄 요약

이 논문은 알려지지 않은 마르코프 결정 과정(MDP)에서 강화 학습을 위한 보상 편향 최대우도 추정(RBMLE)을 제안하며, 탐색과 이용의 균형을 이루기 위해 더 높은 최적 보상이 예상되는 파라미터에 편향을 주는 방식을 도입한다. 이는 T 단계 동안 $O(\log T)$의 손실을 달성함으로써 최신 기술 수준의 알고리즘과 동일한 성능을 보이며, 시뮬레이션에서 UCRL2와 톰슨 샘플링보다 뛰어난 경험적 성능을 입증한다.

ABSTRACT

The Reward-Biased Maximum Likelihood Estimate (RBMLE) for adaptive control of Markov chains was proposed to overcome the central obstacle of what is variously called the fundamental "closed-identifiability problem" of adaptive control, the "dual control problem", or, contemporaneously, the "exploration vs. exploitation problem". It exploited the key observation that since the maximum likelihood parameter estimator can asymptotically identify the closed-transition probabilities under a certainty equivalent approach, the limiting parameter estimates must necessarily have an optimal reward that is less than the optimal reward attainable for the true but unknown system. Hence it proposed a counteracting reverse bias in favor of parameters with larger optimal rewards, providing a solution to the fundamental problem alluded to above. It thereby proposed an optimistic approach of favoring parameters with larger optimal rewards, now known as "optimism in the face of uncertainty". The RBMLE approach has been proved to be long-term average reward optimal in a variety of contexts. However, modern attention is focused on the much finer notion of "regret", or finite-time performance. Recent analysis of RBMLE for multi-armed stochastic bandits and linear contextual bandits has shown that it not only has state-of-the-art regret, but it also exhibits empirical performance comparable to or better than the best current contenders, and leads to strikingly simple index policies. Motivated by this, we examine the finite-time performance of RBMLE for reinforcement learning tasks that involve the general problem of optimal control of unknown Markov Decision Processes. We show that it has a regret of $\mathcal{O}( \log T)$ over a time horizon of $T$ steps, similar to state-of-the-art algorithms. Simulation studies show that RBMLE outperforms other algorithms such as UCRL2 and Thompson Sampling.

연구 동기 및 목표

• 알려지지 않은 마르코프 결정 과정에 대한 강화 학습에서 탐색과 이용의 상호보완적 갈등을 해결하기 위해.
• 모델 불확실성 하에서 학습과 성능의 균형을 이루는 유한 시간 손실 최적 알고리즘을 개발하기 위해.
• 이전에 적응 제어와 밴드잇에서 사용된 RBMLE 프레임워크를 평균 보상 기준을 갖는 일반 MDP로 확장하기 위해.
• RBMLE가 최신 기술 수준의 손실 한계를 달성하고 강화 학습 환경에서 뛰어난 경험적 성능을 보임을 입증하기 위해.

제안 방법

• RBMLE는 최대우도 추정 과정에 보상 편향을 도입하여 더 높은 최적 보상을 가진 파라미터 추정치를 선호한다.
• 전이 모델의 우도 기반 추정치를 구축한 후, 장기적으로 더 높은 보상을 낳을 가능성이 있는 모델을 선호하기 위해 반대 방향의 편향을 적용한다.
• 확실성-등가 접근법을 사용하지만, 이로 인해 생길 수 있는 파라미터 추정의 편향을 보정하여 최적 정책보다 열등한 정책을 유도하는 것을 방지한다.
• 편향된 파라미터 분포 하에서 최적 정책의 낙관적 추정치를 기반으로 행동을 선택한다.
• 기본적인 최대우도 추정(MLE)은 점점 진짜 전이 모델을 식별하지만, 최적 보상을 과소평가하므로 반대 방향의 편향을 적용한다.
• 손실 분석은 평균 보상 기준 하에서 수행되며, 성능은 시간이 지남에 따라 최적의 누적 보상과 실제 누적 보상의 차이로 측정된다.

실험 결과

연구 질문

• RQ1 RBMLE는 알려지지 않은 MDP의 평균 보상 설정에서 $O(\log T)$의 손실을 달성할 수 있는가?
• RQ2 RBMLE의 유한 시간 성능은 UCRL2와 톰슨 샘플링 같은 최신 기술 수준의 알고리즘과 비교해 어떻게 되는가?
• RQ3 보상 편향 메커니즘은 일반 MDP에서 탐색과 이용을 효과적으로 균형 잡는가?
• RQ4 RBMLE는 밴드잇 설정에서부터 전체 MDP로 확장될 수 있으며, 이 과정에서 손실 최적성은 유지되는가?

주요 결과

• RBMLE는 T 단계의 시간 영역에서 $O(\log T)$의 손실 한계를 달성하며, 최신 기술 수준의 알고리즘과 동일한 성능을 보였다.
• 시뮬레이션 결과, RBMLE는 누적 보상과 수렴 속도 측면에서 UCRL2와 톰슨 샘플링를 능가하는 것으로 나타났다.
• 다양한 강화 학습 과제에서 RBMLE는 현재 최고의 경쟁자들과 비교해 경험적으로 유사하거나 더 뛰어난 성능을 보였다.
• 보상 편향 최대우도 추정 접근법은 더 높은 잠재적 보상을 지닌 낙관적인 파라미터 추정치를 선호함으로써 탐색과 이용의 딜레마를 성공적으로 해결했다.