[论文解读] Classification-based Approximate Policy Iteration: Experiments and Extended Discussions

Amir massoud Farahmand, Doina Precup+2 more|arXiv (Cornell University)|Jul 2, 2014

Reinforcement Learning in Robotics参考文献 1被引用 3

一句话总结

本文提出分类式近似策略迭代（CAPI），一种联合利用价值函数与策略中规律性的框架，以实现高效的样本强化学习。通过使用分类器从价值函数估计中泛化贪婪动作，CAPI 实现了卓越的样本效率——在大规模 HIV 控制任务中成功求解，并以少几个数量级的样本优于基线方法，同时保持了性能损失与估计误差的理论保证。

ABSTRACT

Tackling large approximate dynamic programming or reinforcement learning problems requires methods that can exploit regularities, or intrinsic structure, of the problem in hand. Most current methods are geared towards exploiting the regularities of either the value function or the policy. We introduce a general classification-based approximate policy iteration (CAPI) framework, which encompasses a large class of algorithms that can exploit regularities of both the value function and the policy space, depending on what is advantageous. This framework has two main components: a generic value function estimator and a classifier that learns a policy based on the estimated value function. We establish theoretical guarantees for the sample complexity of CAPI-style algorithms, which allow the policy evaluation step to be performed by a wide variety of algorithms (including temporal-difference-style methods), and can handle nonparametric representations of policies. Our bounds on the estimation error of the performance loss are tighter than existing results. We also illustrate this approach empirically on several problems, including a large HIV control task.

研究动机与目标

• 为解决大规模强化学习中的样本效率低下问题，通过利用价值函数与策略的规律性。
• 开发一个统一框架，泛化现有基于分类的强化学习方法，并支持灵活的策略表示。
• 为 CAPI 类算法提供估计误差与性能损失的理论保证。
• 通过实证验证 CAPI 在多样化环境（包括高维控制任务）中样本效率与稳定性的优越性。
• 证明当数据稀缺时，CAPI 可超越基于值函数与基于策略的方法，尤其在策略具有简单、结构化形式时。

提出的方法

• CAPI 使用通用的价值函数估计器来近似动作价值函数，支持通过各种算法（包括时序差分风格与 LSTD 方法）灵活评估策略。
• 通过在估计的动作价值上训练分类器以学习策略，实现对状态空间中贪婪动作的泛化，并利用策略规律性。
• 该框架支持非参数化策略表示（如决策树或 k-NN），允许根据数据自适应调整复杂度。
• 策略评估与策略改进解耦，支持使用任意价值估计方法，包括基于滚动（rollout-based）或函数逼近技术。
• 在基于树的分类器中采用加权损失函数，以强调动作差距差异，提升对噪声价值估计的鲁棒性。
• 策略复杂度的模型选择（如 k-NN 中的 k 或树的最小分割值）被视作问题相关调参任务，以平衡偏差与方差。

实验结果

研究问题

• RQ1 统一框架能否有效利用大规模强化学习中价值函数与策略规律性？
• RQ2 CAPI 在样本效率上与标准基于值函数的方法（如 Fitted Q-Iteration）和基于策略的方法（如 DPI）相比如何？
• RQ3 策略空间复杂度（如 k-NN 中的 k 或树深度）对 CAPI 性能与泛化能力有何影响？
• RQ4 当数据稀缺且采集成本高昂时，CAPI 是否能实现优于基于滚动或基于值函数方法的性能？
• RQ5 CAPI 类算法的估计误差与性能损失可建立何种理论边界？

主要发现

• 在平衡杆任务中，CAPI 显著优于 Tree-FQI 与 Tree-DPI 的样本效率，仅用约 10^4 个样本即完成任务，而 Tree-DPI 需约 3×10^7 个样本。
• 使用 15,000 个样本时，CAPI 在 ηπ=20 条件下在全部 50 次运行中均达到完美性能，而 Tree-FQI 需约 3×10^4 个样本才能达到类似表现。
• KNN-CAPI 中 K 的选择对性能有明显影响，尤其在低样本场景下，表明策略空间复杂度需根据具体问题进行调优。
• CAPI 使用小规模策略空间（如 ηπ=20）即可在数据有限时实现接近最优的性能，证明其有效利用了策略规律性。
• 在训练初期，Tree-CAPI 表现优于 Tree-FQI，表明在数据稀缺场景下，基于策略的泛化可能比基于值函数的函数逼近更具样本效率。
• CAPI 的计算成本高于 Tree-DPI，但数据需求的显著降低使其在数据采集成本高昂时更具优势。