[논문 리뷰] Improved Analysis of UCRL2 with Empirical Bernstein Inequality

Ronan Fruit, Matteo Pirotta외 1명|arXiv (Cornell University)|2020. 07. 10.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 11

한 줄 요약

이 논문은 통신 가능한 마르코프 결정 과정(MDPs)에서 강화 학습을 위한 개선된 탐색-이용 알고리즘인 UCRL2B를 제시한다. 이 알고리즘은 보상과 전이 확률에 대한 신뢰구간을 좁히기 위해 경험적 버르슈타인 부등식을 활용한다. 주요 기여는 $\widetilde{O}(\sqrt{D\Gamma SAT})$의 리그레트 한계를 확보한 것으로, 이는 이전의 한계에서 비효율적인 $\sqrt{S}$ 요소를 제거하고 상태 수와 행동 수에 대해 더 날카운 감도를 확보함으로써 향상된 것이다.

ABSTRACT

We consider the problem of exploration-exploitation in communicating Markov Decision Processes. We provide an analysis of UCRL2 with Empirical Bernstein inequalities (UCRL2B). For any MDP with $S$ states, $A$ actions, $Γ\leq S$ next states and diameter $D$, the regret of UCRL2B is bounded as $\widetilde{O}(\sqrt{DΓS A T})$.

연구 동기 및 목표

• 보상과 전이 확률에 대한 더 날카운 신뢰구간을 활용하여 통신 가능한 MDP에서 UCRL2 알고리즘의 리그레트 분석을 향상시키는 것.
• 이전 리그레트 한계에서 발생하는 비효율적인 $\sqrt{S}$ 의존성을 제거하기 위해 허프딩 기반의 신뢰구간 대신 경험적 버르슈타인 부등식을 도입하는 것.
• 총 상태 수 $S$ 가 아닌, 각 상태-행동 쌍에서 도달 가능한 다음 상태의 최대 수 $\Gamma$ 에 따라 스케일링되는 더 날카운 리그레트 한계를 달성하는 것.
• 높은 확률 보장 하에 경험적 버르슈타인 부등식을 활용한 UCRL2의 정교한 이론적 분석(UCRL2B)을 제공하는 것.
• 정보 이론적 하한선에 로그 인자 외에는 근접하는 리그레트 한계를 확립하여, 상태 공간 및 행동 공간 크기에 대한 이전 결과보다 향상된 의존성 확보하는 것.

제안 방법

• 알고리즘은 경험적 버르슈타인 부등식을 사용하여 보상과 전이 확률에 대한 높은 확률의 신뢰구간을 구성한다.
• 알고리즘은 각 모델이 경험적 버르슈타인 부등식에서 유도된 신뢰구간을 만족하는 가능성이 있는 MDP 모델의 집합인 확장된 MDP 모델 $\mathcal{M}_k$ 을 유지한다.
• 각 에피소드 $k$ 에서, 알고리즘은 보상의 최대값 $r_{\max}$ 과 $t_k$ 를 고려한 값 반복을 통해 confidence-bounded MDP에서 최적 벨먼 방정식의 $r_{\max}/t_k$-근사해를 계산한다.
• 알고리즘은 값 함수 추정치의 제곱 편차 합을 제어하기 위해 새로운 분산 분해와 높은 확률 농도 한계를 사용한다.
• 핵심 기술적 구성 요소는 경험적 버르슈타인 프레임워크 하에서 $\sum_t \mathbb{V}_{\widehat{p}_{k_t}(\cdot|s_t)}(\alpha h_{k_t})$ 의 분산 합에 대한 높은 확률 한계를 유도하는 것으로, 이는 $\widetilde{O}(r_{\max}^2 D T)$ 로 나타나며, 이는 높은 정확도를 보장한다.
• 최종 리그레트 한계는 분산 제어, 신뢰구간의 날카운성, 그리고 에피소드와 상태-행동 쌍 전체에 걸친 신중한 유니온 바운드를 조합하여 유도되며, 이는 높은 확률의 타당성을 보장한다.

실험 결과

연구 질문

• RQ1 허프딩 기반의 신뢰구간을 경험적 버르슈타인 부등식으로 대체함으로써 UCRL2의 리그레트 한계를 향상시킬 수 있는가?
• RQ2 경험적 버르슈타인 부등식의 사용이 상태 수 $S$ 와 행동 수 $A$ 에 대한 의존성에 더 날카운 영향을 미치는가?
• RQ3 통신 가능한 MDP에서 경험적 버르슈타인 기반의 신뢰집합을 사용할 때 달성 가능한 최적의 리그레트 스케일링은 무엇인가?
• RQ4 이전 UCRL2 리그레트 한계에서 발생하는 $\sqrt{S}$ 요소는 더 날카운 농도 한계를 통해 제거될 수 있는가?
• RQ5 $\Gamma$, 즉 각 상태-행동 쌍에서 도달 가능한 다음 상태의 최대 수에 비해 $S$ 에 비해 알고리즘의 성능 스케일링은 어떻게 되는가?

주요 결과

• UCRL2B의 리그레트는 높은 확률로 $\widetilde{O}(\sqrt{D\Gamma SAT})$ 로 제한되며, 여기서 $D$ 는 MDP의 직경, $\Gamma$ 는 각 상태-행동 쌍에서 도달 가능한 다음 상태의 최대 수, $S$ 는 상태 수, $A$ 는 행동 수, $T$ 는 시간 수평이다.
• 이 한계는 이전의 UCRL2의 $\widetilde{O}(DS\sqrt{AT})$ 한계를 개선하여 명시적인 $\sqrt{S}$ 요소를 제거하고 $\sqrt{\Gamma}$ 로 대체함으로써 향상되었다. 일반적으로 $\Gamma$ 는 $S$ 보다 작다.
• 이 향상은 보상과 전이 확률의 분산을 더 잘 포착하는 경험적 버르슈타인 부등식에서 유도된 더 날카운 신뢰구간을 통해 달성된다.
• 분석 결과, 값 함수 추정치의 분산 합은 $\widetilde{O}(r_{\max}^2 D T)$ 로 스케일링되는 높은 확률 한계를 통해 제어되며, 이는 더 날카운 리그레트 제어를 가능하게 한다.
• 최종 리그레트 한계는 정보 이론적 하한선에 로그 인자 외에는 근접하여, $D$, $\Gamma$, $S$, $A$, $T$ 에 대한 의존성에서 거의 최적임을 시사한다.
• 이 한계는 확률 최소 $1 - \delta$ 에서 성립하며, $\delta$ 에 대한 의존성은 로그 수준이며, 이는 일반적인 분석에서 표준적인 것으로서 점근적 스케일링에 영향을 주지 않는다.