[논문 리뷰] Best Policy Identification in discounted MDPs: Problem-specific Sample Complexity

Aymen Al Marjani, Alexandre Proutière|arXiv (Cornell University)|2020. 01. 01.

Reinforcement Learning in Robotics인용 수 3

한 줄 요약

이 논문은 할인 MDP에서 최적 정책 식별을 위한 새로운 알고리즘인 KLB-TS를 제안한다. 이 알고리즘은 비볼록 최적화 문제로부터 유도된 문제 특화 샘플 복잡도 한계를 사용하며, MDP 특성 기반 기능(예: 최적 정책이 아닌 갭과 다음 상태 가치 함수의 분산)에 의존하는 거의 최적의 샘플 할당을 추적함으로써 渐近적으로 최적의 샘플 복잡도를 달성한다.

ABSTRACT

We investigate the problem of best-policy identification in discounted Markov Decision Processes (MDPs) with finite state and action spaces. We assume that the agent has access to a generative model and that the MDP possesses a unique optimal policy. In this setting, we derive a problem-specific lower bound of the sample complexity satisfied by any learning algorithm. This lower bound corresponds to an optimal sample allocation that solves a non-convex program, and hence, is hard to exploit in the design of efficient algorithms. We provide a simple and tight upper bound of the sample complexity lower bound, whose corresponding nearly-optimal sample allocation becomes explicit. The upper bound depends on specific functionals of the MDP such as the sub-optimal gaps and the variance of the next-state value function, and thus really summarizes the hardness of the MDP. We devise KLB-TS (KL Ball Track-and-Stop), an algorithm tracking this nearly-optimal allocation, and provide asymptotic guarantees for its sample complexity (both almost surely and in expectation). The advantages of KLB-TS against state-of-the-art algorithms are finally discussed.

연구 동기 및 목표

• 유일한 최적 정책를 가진 할인 MDP에서 최적 정책 식별을 위한 문제 특화 샘플 복잡도 하한을 수립하는 것.
• 이 하한의 날카운 상한을 유도하여 명시적이고 거의 최적의 샘플 할당 전략을 가능하게 하는 것.
• 이러한 거의 최적의 할당을 실시간으로 추적하는 알고리즘인 KLB-TS를 설계하는 것.
• KLB-TS의 샘플 복잡도에 대해 거의 확실히 및 기대값 기반으로 渐近적 보장을 제공하는 것.
• 기존 최첨단 알고리즘 대비 샘플 효율성 측면에서 KLB-TS의 우월성을 입증하는 것.

제안 방법

• 상태-행동 쌍에 대한 비볼록 최적화 프로그램을 푸름으로써 문제 특화 샘플 복잡도 하한을 도출한다.
• 하한의 날카운 상한을 제안하며, 이 상한은 MDP 특성 기반 기능(최적 정책이 아닌 갭과 다음 상태 가치 함수의 분산)에 명시적으로 의존한다.
• KLB-TS(KL 볼 트랙-앤드-스톱)를 제안하며, 이는 상한에서 도출된 거의 최적의 샘플 할당을 동적으로 추적한다.
• KL 발산을 기반으로 한 트랙-앤드-스톱 전략을 사용하여 정책 식별에서 탐색과 이용의 균형을 이룬다.
• 상한에서 유도된 신뢰 구간을 기반으로 한 정지 규칙을 도입하여 渐近적 최적성을 보장한다.
• 이론적 보장을 제공하여 KLB-TS가 거의 확실히 및 기대값 기반으로 샘플 복잡도에서 渐近적 최적성을 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 유일한 최적 정책를 가진 할인 MDP에서 생성 모델을 사용할 때 최적 정책 식별을 위한 기본적인 문제 특화 샘플 복잡도 하한은 무엇인가?
• RQ2 이 하한은 어떻게 날카운 근사로 근사화될 수 있으며, 이를 통해 실용적으로 사용 가능한 거의 최적의 샘플 할당 전략을 도출할 수 있는가?
• RQ3 실시간으로 이 거의 최적의 할당을 추적하면서도 渐近적 최적성을 유지할 수 있는 알고리즘을 설계할 수 있는가?
• RQ4 이러한 알고리즘의 샘플 복잡도에 대해 거의 확실히 및 기대값 기반으로 이론적 보장은 무엇인가?
• RQ5 제안된 알고리즘은 기존 최첨단 방법에 비해 샘플 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 논문은 MDP 특성 기반 기능(최적 정책이 아닌 갭, 다음 상태 가치 함수의 분산 등)에 의존하는 문제 특화 샘플 복잡도 하한을 수립한다.
• 이 하한의 날카운 상한을 도출하였으며, 이는 원래의 비볼록 프로그램을 풀지 않아도 명시적이고 거의 최적의 샘플 할당을 가능하게 한다.
• KLB-TS는 유도된 할당 전략 하에서 샘플 복잡도에서 거의 확실히 및 기대값 기반으로 渐近적 최적성을 달성함을 보여준다.
• 알고리즘 설계는 KL 발산을 기반으로 한 트랙-앤드-스톱 메커니즘을 활용하여 효율적인 탐색과 적절한 정지를 보장한다.
• 이론적 분석과 비교를 통해 KLB-TS는 기존 최첨단 알고리즘보다 샘플 효율성이 뛰어나다는 것이 입증된다.
• 이론적 프레임워크는 MDP의 내재된 구조에 기반하여 최적 정책 식별의 어려움을 체계적으로 정량화할 수 있는 방법을 제공한다.