[论文解读] Adaptive Sampling for Best Policy Identification in Markov Decision Processes

Aymen Al Marjani, Alexandre Proutière|arXiv (Cornell University)|Sep 28, 2020

Advanced Bandit Algorithms Research参考文献 15被引用 8

一句话总结

该论文提出KLB-TS，一种用于折扣马尔可夫决策过程（MDPs）中最佳策略识别的新型自适应采样算法，基于生成模型。通过推导出样本复杂度的问题特定紧上界，并追踪一种显式、近乎最优的样本分配，KLB-TS在几乎必然和期望意义上均实现了渐近最优的样本复杂度，由于初始化阶段显著缩短且具备更好的自适应性，其在实践中优于最先进方法BESPOKE。

ABSTRACT

We investigate the problem of best-policy identification in discounted Markov Decision Processes (MDPs) when the learner has access to a generative model. The objective is to devise a learning algorithm returning the best policy as early as possible. We first derive a problem-specific lower bound of the sample complexity satisfied by any learning algorithm. This lower bound corresponds to an optimal sample allocation that solves a non-convex program, and hence, is hard to exploit in the design of efficient algorithms. We then provide a simple and tight upper bound of the sample complexity lower bound, whose corresponding nearly-optimal sample allocation becomes explicit. The upper bound depends on specific functionals of the MDP such as the sub-optimality gaps and the variance of the next-state value function, and thus really captures the hardness of the MDP. Finally, we devise KLB-TS (KL Ball Track-and-Stop), an algorithm tracking this nearly-optimal allocation, and provide asymptotic guarantees for its sample complexity (both almost surely and in expectation). The advantages of KLB-TS against state-of-the-art algorithms are discussed and illustrated numerically.

研究动机与目标

• 解决最小最大样本复杂度界无法反映特定MDP固有难度的局限性。
• 推导出一个反映MDP真实难度（通过次优性差距和价值函数方差等泛函）的问题特定样本复杂度下界。
• 设计一种高效、自适应的算法，追踪由紧致上界导出的近乎最优样本分配。
• 为所提算法提供理论上的样本复杂度保证，确保在几乎必然和期望意义下的渐近最优性。

提出的方法

• 推导出以 $ T^*(\phi)\log(1/\delta) $ 表示的问题特定样本复杂度下界，其中 $ T^*(\phi) $ 解决一个反映MDP难度的非凸优化问题。
• 引入一个对 $ T^*(\phi) $ 的显式、紧致上界 $ U(\phi) $，其依赖于MDP泛函（如次优性差距、方差和价值函数最大偏差）。
• 设计KLB-TS算法以追踪对应于 $ U(\phi) $ 的样本分配，从而实现高效且自适应的采样。
• 实现一种受 $ U(\phi) $ 推导启发的KL球停止规则，用于在高置信度下判断是否已收集足够信息以停止采样。
• 采用跟踪-停止框架，根据估计的MDP参数动态调整采样策略，确保以最少样本收敛至最优策略。
• 证明KLB-TS的渐近几乎必然和期望样本复杂度保证，表明其与上界 $ U(\phi)\log(1/\delta) $ 一致。

实验结果

研究问题

• RQ1 能否为MDPs中最佳策略识别推导出一个反映MDP真实难度的问题特定样本复杂度下界，超越最小最大界？
• RQ2 能否推导出一个紧致且显式的上界，以问题特定下界为基础，从而支持实际算法设计？
• RQ3 如何设计一种自适应采样策略，以追踪该上界所隐含的近乎最优样本分配？
• RQ4 何种停止规则可确保PAC保证的同时保持样本复杂度的渐近最优性？
• RQ5 所提出的KLB-TS算法在性能和自适应性方面相较于现有最先进算法（如BESPOKE）表现如何？

主要发现

• KLB-TS实现了渐近样本复杂度 $ \mathcal{O}\big(U(\phi)\log(1/\delta)\big) $，与推导出的上界 $ U(\phi) $ 一致，且在几乎必然和期望意义上均成立。
• 在数值实验中，KLB-TS显著优于BESPOKE，主要归因于其初始化阶段更短且成本更低。
• BESPOKE的初始化阶段引入了一个较大的常数项 $ \frac{S^2A}{(1-\gamma)^2} $，主导了其样本复杂度，使其在实际中不可行，尽管其具有非渐近保证。
• KLB-TS在策略更新过程中避免求解凸优化问题，转而依赖一种显式、闭式表达的采样策略，计算效率更高。
• KLB-TS的样本复杂度依赖于MDP特定泛函（如次优性差距、价值函数方差和最大偏差），从而实现对简单MDP的强自适应性。
• 在最坏情况下，KLB-TS与BESPOKE均以 $ \tilde{\mathcal{O}}\big(\frac{SA}{\Delta_{\min}^2(1-\gamma)^3}\big) $ 的速率增长，与最小最大下界一致，但KLB-TS在常数因子和自适应性方面表现更优。