[논문 리뷰] Minimax Regret Bounds for Reinforcement Learning

Mohammad Gheshlaghi Azar, Ian Osband외 1명|arXiv (Cornell University)|2017. 03. 16.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 50

한 줄 요약

본 논문은 Bernstein 기반 탐색 보너스를 갖춘 UCBVI를 유한-수평(MDPs)에서 도입하여, 이전 스케일링을 개선하고 큰 T에 대해 로그 인자들(로그 차수)만 남는 하한까지 일치하는 거의 최적의 미니맥스 후회 경계를 달성한다.

ABSTRACT

We consider the problem of provably optimal exploration in reinforcement learning for finite horizon MDPs. We show that an optimistic modification to value iteration achieves a regret bound of $ ilde{O}( \sqrt{HSAT} + H^2S^2A+H\sqrt{T})$ where $H$ is the time horizon, $S$ the number of states, $A$ the number of actions and $T$ the number of time-steps. This result improves over the best previous known bound $ ilde{O}(HS \sqrt{AT})$ achieved by the UCRL2 algorithm of Jaksch et al., 2010. The key significance of our new results is that when $T\geq H^3S^3A$ and $SA\geq H$, it leads to a regret of $ ilde{O}(\sqrt{HSAT})$ that matches the established lower bound of $Ω(\sqrt{HSAT})$ up to a logarithmic factor. Our analysis contains two key insights. We use careful application of concentration inequalities to the optimal value function as a whole, rather than to the transitions probabilities (to improve scaling in $S$), and we define Bernstein-based "exploration bonuses" that use the empirical variance of the estimated values at the next states (to improve scaling in $H$).

연구 동기 및 목표

• 유한-수평 MDP에서 증명 가능하게 최적의 탐색 필요성을 제시한다.
• 엄밀한 후회 보장을 갖는 낙관적이고 모델 기반의 RL 알고리즘을 개발한다.
• 이전 연구에 비해 상태 및 수평(Horizon) 의존성을 후회 경계에서 개선한다.
• Bernstein 기반 탐색 보너스가 큰 T에서 거의 최적의 후회를 가능하게 함을 보인다.

제안 방법

• V*에 대한 높은 확률의 상한으로 낙관적 가치 함수를 산출하는 상향 신뢰 구간 값 반복(UCBVI)을 제안한다.
• 두 가지 보너스 설계: 보너스_1은 Chernoff-Hoeffding 경계 이용, 보너스_2는 다음 상태 값의 경험적 분산에 기반한 Bernstein-Freedman 스타일 보너스.
• 최적 가치 함수에 집중 불확실성 경합을 적용하고 분산 합계를 위하여 재귀적 Bellman 타입 분산의 법칙을 사용하여 후회를 분석한다.
• Bernstein 부등식과 마르게랭 농축을 통해 추정 오차와 탐색 보너스를 한정하고, S와 H에 대한 의존성을 감소시킨다.
• 에피소드당 알려진 MDP를 해결하는 것과 유사한 비용으로 계산 가능성을 보여주고 확장 가능한 구현 아이디어를 논의한다.

실험 결과

연구 질문

• RQ1 유한-수평 MDP에서 불확실성에 직면한 낙관성이 증명 가능하게 최적의 탐색을 낳을 수 있는가, 엄밀한 후회가 있는가?
• RQ2 전이 확률이 아니라 가치 함수에 집중하는 낙관적이고 모델 기반의 접근법으로 달성 가능한 엄밀한 후회 경계는 무엇인가?
• RQ3 Bernstein 기반 탐색 보너스가 후회 경계에서 수평 H와 상태 공간 크기 S에 미치는 의존도에 어떤 영향을 미치는가?
• RQ4 큰 총 단계 수 T에서 유한-수평 MDP에 대해 미니맥스 하한에 맞출 수 있는가?

주요 결과

• UCBVI-CH는 S 의 의존성을 sqrt(S)로 개선하고 H^{3/2} 및 S^2 항으로 확장되는 형태의 고확률 내에서 후회 경계를 달성한다.
• UCBVI-BF는 Bernstein 기반 보너스를 사용하여 후회 경계가 대형 T 영역에서 HSAT^{1/2로 확대되며, T가 충분히 크고 SA ≥ H일 때 미니맥스 하한과 로그 인자 차이만큼 일치한다.
• 대형 T의 경우, 조건 T ≥ H^3 S^3 A 및 SA ≥ H에서 후회 경계가  tilde{O}(√(HSAT))로 수렴한다.
• 두 가지 핵심 기술 요소는 최적 가치 함수에 대한 집중화와 다음 상태 값의 경험적 분산에 기반한 탐색 보너스이며, 결과적으로 H 의 의존도가 √H로 개선된다.
• 두 알고리즘 모두 계산적으로 타당하며, 에피소드당 비용이 알려진 MDP를 푸는 것과 비슷하다.