[论文解读] Algorithms and Bounds for Sampling-based Approximate Policy Iteration

Christos Dimitrakakis, Michail G. Lagoudakis|arXiv (Cornell University)|Jan 1, 2008

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种在连续状态空间中进行策略迭代的样本高效采样策略，通过用自适应分配方法替代均匀滚动采样，仅在需要的位置分配样本。该方法显著降低了样本复杂度，同时通过简单的网格化状态覆盖和基于分类器的策略表示维持了策略性能。

ABSTRACT

Several approximate policy iteration schemes without value functions, which focus on policy representation using classifiers and address policy learning as a supervised learning problem, have been proposed recently. Finding good policies with such methods requires not only an appropriate classifier, but also reliable examples of best actions, covering the state space sufficiently. Up to this time, little work has been done on appropriate covering schemes and on methods for reducing the sample complexity of such methods, especially in continuous state spaces. This paper focuses on the simplest possible covering scheme (a discretized grid over the state space) and performs a sample-complexity comparison between the simplest (and previously commonly used) rollout sampling allocation strategy, which allocates samples equally at each state under consideration, and an almost as simple method, which allocates samples only as needed and requires significantly fewer samples.

研究动机与目标

• 解决基于采样的近似策略迭代在连续状态空间中的高样本复杂度问题。
• 通过使用简单的网格离散化方法确保充分的状态空间覆盖，从而提高策略学习的可靠性。
• 比较均匀滚动采样与自适应采样策略，以减少所需样本数量。
• 评估自适应采样在最小化样本使用的同时维持策略质量的有效性。

提出的方法

• 使用离散化网格对连续状态空间进行均匀覆盖。
• 通过在最优动作示范数据上训练的分类器表示策略。
• 用仅在需要位置分配样本的自适应采样策略替代均匀滚动采样。
• 通过收集通过滚动得到的动作标签，将监督学习应用于策略学习。
• 采用一种简单而有效的方法，优先对最有助于策略改进的状态进行采样。
• 从样本效率和策略性能两个方面，将自适应策略与均匀采样进行比较。

实验结果

研究问题

• RQ1 在策略迭代中，自适应采样与均匀采样在样本效率方面有何比较？
• RQ2 简单的网格化状态覆盖方案是否能支持减少采样量的有效策略学习？
• RQ3 样本分配策略对连续状态空间中策略质量有何影响？
• RQ4 自适应采样是否能在显著减少所需滚动次数的同时维持策略性能？

主要发现

• 自适应采样策略在实现相当策略性能的同时，所需样本数量显著少于均匀滚动采样。
• 使用简单的网格离散化方法可实现充分的状态空间覆盖，从而支持有效的策略学习。
• 自适应采样通过聚焦于最有助于策略改进的状态，降低了样本复杂度。
• 该方法即使在采样量减少的情况下仍能维持策略质量，展现出强大的样本效率。