[论文解读] Algorithms and Bounds for Rollout Sampling Approximate Policy Iteration

Christos Dimitrakakis, Michail G. Lagoudakis|ArXiv.org|May 14, 2008

Advanced Bandit Algorithms Research参考文献 9被引用 5

一句话总结

本文提出并分析了在连续MDP的近似策略迭代中两种滚动采样策略：均匀采样与一种仅在需要时分配样本的自适应方法。关键贡献在于理论上将样本复杂度降低了$\epsilon^{-2}$阶，显著提升了效率，同时保持了策略改进的概率保证。

ABSTRACT

Several approximate policy iteration schemes without value functions, which focus on policy representation using classifiers and address policy learning as a supervised learning problem, have been proposed recently. Finding good policies with such methods requires not only an appropriate classifier, but also reliable examples of best actions, covering the state space sufficiently. Up to this time, little work has been done on appropriate covering schemes and on methods for reducing the sample complexity of such methods, especially in continuous state spaces. This paper focuses on the simplest possible covering scheme (a discretized grid over the state space) and performs a sample-complexity comparison between the simplest (and previously commonly used) rollout sampling allocation strategy, which allocates samples equally at each state under consideration, and an almost as simple method, which allocates samples only as needed and requires significantly fewer samples.

研究动机与目标

• 解决连续MDP近似策略迭代中滚动采样带来的高样本复杂度问题。
• 分析并比较两种采样分配策略：均匀采样与基于不确定性的自适应采样。
• 为以高概率实现策略改进提供样本复杂度的理论界。
• 减少对均匀采样的依赖，避免在已充分理解的状态上浪费样本。
• 为无价值函数策略学习中的智能采样奠定理论基础。

提出的方法

• 在连续状态空间上使用离散化网格来表示状态，以支持策略学习。
• 采用滚动模拟来估计动作值并改进策略，而无需显式的价值函数表示。
• 提出一种自适应采样算法，仅在最佳动作不确定的区域分配更多样本，基于置信区间。
• 应用浓度不等式来界定错误动作选择的概率，确保以高概率实现策略改进。
• 利用几何覆盖论证和对策略差距函数$\Delta^\pi(s)$平滑性的假设，推导样本复杂度界。
• 基于$\Delta^\pi(s)$的大小对状态进行分层划分，以界定需要高样本数的状态数量。

实验结果

研究问题

• RQ1 自适应滚动采样与均匀采样相比，在策略改进的样本复杂度方面表现如何？
• RQ2 是否存在一种理论基础坚实的采样策略，可减少实现期望策略遗憾所需的滚动次数？
• RQ3 在基于网格的策略表示下，自适应采样在连续MDP中的理论样本复杂度是多少？
• RQ4 策略差距函数的平滑性如何影响所需样本数？
• RQ5 在合理假设下，样本复杂度能否独立于状态空间维度进行有界？

主要发现

• 自适应采样算法实现了$\mathcal{O}(\epsilon^{-2})$的样本复杂度，优于均匀采样的$\mathcal{O}(\epsilon^{-4})$复杂度。
• 理论分析表明，与均匀分配相比，自适应方法将样本复杂度降低了$\epsilon^{-2}$阶。
• 样本复杂度界依赖于策略差距函数的平滑性，其中指数$\beta$控制性能较差状态的衰减速率。
• 界与网格分辨率$\rho$相关，且通过测度论论证界定了每一层级中状态数的上界。
• 分析假设候选状态数$n$为固定值，且界在概率至少$1 - \delta$下成立。
• 结果表明，智能采样可显著减少所需滚动次数，尤其在高维或连续状态空间中。