[论文解读] Incremental Model-based Learners With Formal Learning-Time Guarantees

Alexander L. Strehl, Lihong Li+1 more|arXiv (Cornell University)|Jun 27, 2012

Machine Learning and Algorithms参考文献 11被引用 17

一句话总结

本文提出 RTDP-RMAX 和 RTDP-IE，这两种基于模型的增量强化学习算法利用实时动态规划（RTDP）技术，避免在每一步中完全求解内部模型，从而大幅降低计算成本，同时保持 PAC-MDP 学习保证。主要贡献在于证明了在计算量减少的情况下，学习错误次数仍具有多项式有界性，使得在大规模 MDP 中实现高效学习并具备形式化的时间复杂度保证成为可能。

ABSTRACT

Model-based learning algorithms have been shown to use experience efficiently when learning to solve Markov Decision Processes (MDPs) with finite state and action spaces. However, their high computational cost due to repeatedly solving an internal model inhibits their use in large-scale problems. We propose a method based on real-time dynamic programming (RTDP) to speed up two model-based algorithms, RMAX and MBIE (model-based interval estimation), resulting in computationally much faster algorithms with little loss compared to existing bounds. Specifically, our two new learning algorithms, RTDP-RMAX and RTDP-IE, have considerably smaller computational demands than RMAX and MBIE. We develop a general theoretical framework that allows us to prove that both are efficient learners in a PAC (probably approximately correct) sense. We also present an experimental evaluation of these new algorithms that helps quantify the tradeoff between computational and experience demands.

研究动机与目标

• 为解决 RMAX 和 MBIE 等基于模型的强化学习算法的高计算成本问题，这些算法在每一步都需要完全求解模型。
• 开发更快的增量学习算法，同时保持强大的理论学习保证。
• 通过避免重复完全求解模型，实现在大规模 MDP 中的高效学习。
• 证明新算法在保持多项式错误次数边界的前提下，仍是 PAC-MDP 学习者。

提出的方法

• 将实时动态规划（RTDP）应用于基于模型学习者的内部模型，仅执行部分价值更新，而非完整的策略计算。
• 采用乐观初始化：对所有状态-动作对设置 Q1(s,a) = 1/(1−γ)，以促进探索。
• 对于 RTDP-RMAX，应用固定探索阈值 m：仅在动作被经历 m 次后才进行更新，未访问的动作被视为具有最大奖励。
• 对于 RTDP-IE，使用区间估计：选择使动作值上界置信区间最大的动作，实现更快、更集中的学习。
• 基于观测经验使用经验估计的转移和奖励函数（ˆTt, ˆRt），通过贝尔曼备份更新 Q 值。
• 维护动作价值估计 Qt(s,a)，并在每个时间步选择贪婪动作：a′ = argmaxa Qt(st,a)。

实验结果

研究问题

• RQ1 我们能否在不牺牲样本效率或学习保证的前提下，降低基于模型强化学习的计算成本？
• RQ2 基于 RTDP 的增量更新是否能在一般 MDP 中保持 PAC-MDP 学习边界？
• RQ3 不同模型更新策略下，计算成本与样本复杂度之间的权衡如何变化？
• RQ4 在计算资源受限条件下，使用区间估计（IE）或固定探索（RMAX 风格）策略是否能带来更快的收敛速度？

主要发现

• RTDP-RMAX 和 RTDP-IE 的计算复杂度显著低于 RMAX 和 MBIE，在某些设置中将贝尔曼备份次数减少了高达 90%。
• 尽管计算量减少，两种算法仍保持非 ϵ-最优动作数量的多项式边界，证明其为 PAC-MDP 学习者。
• 在受限模型设置（大小为 3–100）下，RTDP-IE 和 RTDP-RMAX 分别仅需 4,438 和 5,618 次备份即可达到 15,000 累积奖励，而 MBIE 需要 60,351 次备份。
• 当模型规模扩大至 100 时，RTDP-IE 和 RTDP-RMAX 的计算成本仅略有增加（分别为 4,391 和 4,438 次备份），同时样本效率得到提升。
• 这些算法在远少于 RMAX 和 MBIE 的时间步数内实现了接近最优的累积奖励，尤其在受限模型环境中表现更优。
• 尽管 RTDP-IE/RTDP-RMAX 与 RMAX/MBIE 在样本效率上的差距较小，但其计算节省效果极为显著。