[논문 리뷰] Non-Asymptotic Gap-Dependent Regret Bounds for Tabular MDPs

Max Simchowitz, Kevin Jamieson|arXiv (Cornell University)|2019. 05. 09.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 32

한 줄 요약

낙관적이며 모델 기반의 알고리즘들이 간격 의존적 비점근적인 로그 후회를 에피소드형 표 형 MDP에서 달성함을 보여주며, 새로운 클립된 후회 분해를 통해 log(T)와 최솟값-극대의 sqrt(HSAT) 속도 사이를 보간한다.

ABSTRACT

This paper establishes that optimistic algorithms attain gap-dependent and non-asymptotic logarithmic regret for episodic MDPs. In contrast to prior work, our bounds do not suffer a dependence on diameter-like quantities or ergodicity, and smoothly interpolate between the gap dependent logarithmic-regret, and the $\widetilde{\mathcal{O}}(\sqrt{HSAT})$-minimax rate. The key technique in our analysis is a novel "clipped" regret decomposition which applies to a broad family of recent optimistic algorithms for episodic MDPs.

연구 동기 및 목표

• 에피소드형 표 형 MDP에서 서브오류성 간격을 통해 인스턴스 구조가 후회 경계를 어떻게 개선시키는지 동기를 부여하고 정량화한다.
• 간극 의존적 비점근적 로그 후회를 달성하는 낙관적 알고리즘인 StrongEuler를 개발하고 분석한다.
• 광범위한 낙관적 알고리즘에 확장되는 분해 기법(클립된 후회)을 제시한다.
• 다이아미터와 유사한 의존성 없이 gap-dependent log(T) 후회와 minimax sqrt(HSAT T) 후회 사이의 보간을 보인다.

제안 방법

• EULER의 사소한 변형인 StrongEuler에 특화하고 C_M log(1/δ)의 고확률 후회 경계를 증명한다.
• 새로운 클립된 후회 분해(Proposition 3.1)를 도입하여 클립된 낙관적 잉여를 통해 후회를 상한한다.
• 서브옵티멀리티 간격 gap_h(x,a)와 gap_min을 정의하고 이들이 후회에 미치는 영향을 분석한다(Corollary 2.1, Theorem 2.4).
• 후회는 역수 간격, 시한 H, 상태-행동 카운트, 문제 의존 상수에 의존하는 항들로 한정하고 다이아미터/에르고시티 측정치를 피한다.
• StrongEuler를 넘어서는 더 넓은 계열의 낙관적 알고리즘에 분석이 확장됨을 보인다.
• 시한 의존성이 줄어드는 무해한 문제 설정을 식별한다(맥락적 밴딧, G-제한 보상).

실험 결과

연구 질문

• RQ1 낙관적이고 모델 기반의 알고리즘이 에피소드형 표 MDP에서 간격 의존적 비점근적 후회 경계를 달성할 수 있는가?
• RQ2 다이아미터나 이르거시티 의존 없이 서브옵티멀리티 간격, 시한, 상태 수, 행동 수에 따라 후회가 어떻게 스케일하는가?
• RQ3 클립된 후회 분해가 StrongEuler 및 관련 알고리즘에 대해 더 선명하고 인스턴스 의존적인 log(T) 후회 경계를 산출하는가?
• RQ4 문제 인스턴스와 T 전반에 걸쳐 후회가 log(T)와 minimax sqrt(HSAT A) 구간 사이에서 어떻게 보간되는가?
• RQ5 이 설정에서 낙관적 알고리즘의 간격 의존적 개선 한계를 보여주는 하한은 무엇인가?

주요 결과

• StrongEuler는 모든 T에 대해 C_M log(1/δ)의 고확률 후회 경계를 달성하며, C_M은 간격과 H에 따라 달라지고 다항식(H)으로 증가하는 버닝 인(additive burn-in) 항을 가진다.
• Corollary 2.1은 서브옵티멀 상태-행동 쌍의 합과 최적 쌍에 대한 항, 더불어 log 요소를 갖는 H^4SA(S∨H) 계수를 포함한 후회 경계를 제공한다.
• 후회 경계는 log(T) 간격 의존적 성능과 minimax √(HSAT) 속도 사이를 보간한다(Theorem 2.4).
• 새로운 클립된 후회 분해(Proposition 3.1)는 광범위한 낙관적 알고리즘 가족에 대해 간격 의존적 비점근 분석을 가능하게 한다.
• 역-간격 합 항이 일반적으로 개선 불가능한 하한과, gap_min에 불가피한 의존성을 보이는 사례가 있어 낙관적 방법의 고유한 한계를 강조한다.
• 해석은 시한 의존성을 더 예리하게 할 수 있는 무해한 문제 인스턴스(맥락적 밴딧 또는 G-제한 보상)에까지 확장된다.