[논문 리뷰] Adaptive Sampling for Best Policy Identification in Markov Decision Processes

Aymen Al Marjani, Alexandre Proutière|arXiv (Cornell University)|2020. 09. 28.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 8

한 줄 요약

이 논문은 할인 마코프 결정 과정(MDPs)에서 최적 정책 식별을 위한 새로운 적응형 샘플링 알고리즘인 KLB-TS를 제안한다. 생성 모델을 사용하여 샘플 복잡도의 문제에 특화된 날카운 상한을 유도하고, 명시적이고 거의 최적의 샘플 배정을 추적함으로써 KLB-TS는 거의 확실히 및 기대값 기반으로도 점근적으로 최적의 샘플 복잡도를 달성한다. 이는 BESPOKE와 같은 최신 기술보다 실질적으로 뛰어나며, 초기화 단계가 훨씬 짧고 더 뛰어난 적응성 덕분이다.

ABSTRACT

We investigate the problem of best-policy identification in discounted Markov Decision Processes (MDPs) when the learner has access to a generative model. The objective is to devise a learning algorithm returning the best policy as early as possible. We first derive a problem-specific lower bound of the sample complexity satisfied by any learning algorithm. This lower bound corresponds to an optimal sample allocation that solves a non-convex program, and hence, is hard to exploit in the design of efficient algorithms. We then provide a simple and tight upper bound of the sample complexity lower bound, whose corresponding nearly-optimal sample allocation becomes explicit. The upper bound depends on specific functionals of the MDP such as the sub-optimality gaps and the variance of the next-state value function, and thus really captures the hardness of the MDP. Finally, we devise KLB-TS (KL Ball Track-and-Stop), an algorithm tracking this nearly-optimal allocation, and provide asymptotic guarantees for its sample complexity (both almost surely and in expectation). The advantages of KLB-TS against state-of-the-art algorithms are discussed and illustrated numerically.

연구 동기 및 목표

• 최소-최대 샘플 복잡도 경계가 특정 MDP의 본질적 어려움을 반영하지 못하는 한계를 해결하기 위해.
• 하위 최적성 간격과 가치 함수 분산과 같은 기능들을 통해 MDP의 진정한 어려움을 반영하는 문제에 특화된 샘플 복잡도 하한을 도출하기 위해.
• 문제에 특화된 날카운 하한의 날카운 상한에서 유도된 거의 최적의 샘플 배정을 추적하는 효율적이고 적응형 알고리즘을 설계하기 위해.
• 제안된 알고리즘에 대한 샘플 복잡도 이론적 보장을 제공하여 거의 확실히 및 기대값 기반으로 점근적으로 최적이 되도록 보장하기 위해.

제안 방법

• MDP의 어려움을 반영하는 비볼록 최적화 문제를 해결하는 $ T^*(\phi) $를 통해 표현된 문제에 특화된 샘플 복잡도 하한 $ T^*(\phi)\log(1/\delta) $를 유도한다.
• MDP 기능들인 하위 최적성 간격, 분산, 가치 함수의 최대 편차에 의존하는 $ T^*(\phi) $의 명시적이고 날카운 상한 $ U(\phi) $를 도입한다.
• $ U(\phi) $에 해당하는 샘플 배정을 추적하는 KLB-TS 알고리즘을 설계하여 효율적이고 적응형 샘플링을 가능하게 한다.
• $ U(\phi) $ 유도에 기반한 KL 볼 정지 규칙을 구현하여, 높은 신뢰도로 충분한 정보를 확보했을 때 정지를 결정한다.
• 추정된 MDP 매개변수에 따라 동적으로 샘플링을 조정하는 트랙-앤드-스톱 프레임워크를 사용하여 최적의 정책에 최소한의 샘플로 수렴하도록 보장한다.
• KLB-TS에 대한 점근적 거의 확실히 및 기대값 기반 샘플 복잡도 보장을 증명하여, 이가 $ U(\phi)\log(1/\delta) $ 상한과 일치함을 보여준다.

실험 결과

연구 질문

• RQ1 최소-최대 경계를 넘어서 MDP의 진정한 어려움을 반영하는 문제에 특화된 샘플 복잡도 하한을 MDP의 최적 정책 식별에 대해 도출할 수 있는가?
• RQ2 실제 알고리즘 설계를 가능하게 하는 문제에 특화된 하한의 날카운 명시적 상한을 도출할 수 있는가?
• RQ3 이 상한에 의해 암시되는 거의 최적의 샘플 배정을 추적하는 적응형 샘플링 전략을 어떻게 설계할 수 있는가?
• RQ4 어떤 정지 규칙이 샘플 복잡도의 점근적 최적성과 함께 PAC 보장을 보장할 수 있는가?
• RQ5 제안된 KLB-TS 알고리즘이 BESPOKE와 같은 기존 최신 기술보다 성능과 적응성 면에서 어떻게 비교되는가?

주요 결과

• KLB-TS는 거의 확실히 및 기대값 기반으로 모두 $ \mathcal{O}\big(U(\phi)\log(1\delta)\big) $의 점근적 샘플 복잡도를 달성하며, 유도된 상한 $ U(\phi) $와 일치한다.
• 수치 실험에서 KLB-TS는 BESPOKE를 크게 능가한다. 주로 초기화 단계가 훨씬 짧고 비용이 적기 때문이다.
• BESPOKE의 초기화 단계는 큰 상수 항 $ \frac{S^2A}{(1-\gamma)^2} $을 기여하여 샘플 복잡도를 지배하고, 이는 비록 비점근적 보장이 있더라도 실용적으로 불가능하게 만든다.
• KLB-TS는 정책 업데이트 중에 볼록 프로그래밍을 해결하지 않으며, 대신 계산적으로 효율적인 명시적이고 폐형 해를 갖는 샘플링 전략에 의존한다.
• KLB-TS의 샘플 복잡도는 하위 최적성 간격, 가치 함수 분산, 최대 편차와 같은 MDP 특화 기능에 따라 달라지므로, 쉬운 MDP에 대해 강력한 적응성을 갖는다.
• 최악의 경우, KLB-TS와 BESPOKE 모두 $ \tilde{\mathcal{O}}\big(\frac{SA}{\Delta_{\min}^2(1-\gamma)^3}\big) $로 스케일링되며, 최소-최대 하한과 일치하지만, KLB-TS는 더 좋은 상수와 더 뛰어난 적응성을 달성한다.