[论文解读] Learning from Scarce Experience

Leonid Peshkin, Christian R. Shelton|ArXiv.org|Apr 20, 2002

Reinforcement Learning in Robotics参考文献 22被引用 51

一句话总结

本文提出了一种基于似然比的策略搜索方法，通过复用单一策略收集的经验来估计多个目标策略的值，显著提升了部分可观察强化学习中的样本效率。关键贡献在于提出了样本复杂度边界，并通过实证验证表明，该方法在低数据场景下相比标准REINFORCE算法具有更快的收敛速度和更优的性能。

ABSTRACT

Searching the space of policies directly for the optimal policy has been one popular method for solving partially observable reinforcement learning problems. Typically, with each change of the target policy, its value is estimated from the results of following that very policy. This requires a large number of interactions with the environment as different polices are considered. We present a family of algorithms based on likelihood ratio estimation that use data gathered when executing one policy (or collection of policies) to estimate the value of a different policy. The algorithms combine estimation and optimization stages. The former utilizes experience to build a non-parametric representation of an optimized function. The latter performs optimization on this estimate. We show positive empirical results and provide the sample complexity bound.

研究动机与目标

• 解决标准策略梯度方法在每次策略评估后丢弃经验所导致的效率低下问题。
• 实现执行单一策略时收集的经验复用于估计其他策略的性能。
• 构建一个统一框架，结合非参数估计与优化以实现高效策略搜索。
• 提供理论上的样本复杂度边界以量化数据效率。
• 通过PAC风格分析，弥合强化学习与计算学习理论之间的鸿沟。

提出的方法

• 使用似然比估计方法，对行为策略生成的轨迹进行加权，以估计目标策略的回报。
• 将学习过程分解为两个阶段：估计阶段（非参数化表示值函数）与优化阶段（基于梯度的策略更新）。
• 应用重要性采样技术，校正行为策略与目标策略之间的分布偏移。
• 使用代理评估器基于历史数据估计策略性能，避免重复与环境交互。
• 引入一种采样策略，利用估计的值函数在利用与探索之间实现平衡。
• 推导出依赖于策略类覆盖数与环境动态的PAC风格样本复杂度边界。

实验结果

研究问题

• RQ1 在执行单一策略时收集的经验能否被有效复用于估计多个其他策略的性能？
• RQ2 似然比估计如何提升部分可观察强化学习中的样本效率？
• RQ3 该方法的理论样本复杂度是多少？其随策略类复杂度如何变化？
• RQ4 策略复杂度（如记忆大小）如何影响该框架下的收敛性与性能？
• RQ5 在低数据场景下，该方法能否优于标准REINFORCE风格算法？

主要发现

• 所提方法在数据稀缺时相比标准REINFORCE算法展现出更快的收敛速度。
• 仅使用单一行为策略，算法即可在不重新运行环境交互的前提下估计多个目标策略的值。
• 实证结果表明，具有最小记忆（如1比特）的有限状态控制器可达到最优性能，而反应式策略则收敛至次优解。
• 样本复杂度边界依赖于策略类的覆盖数，反映了假设空间的复杂度。
• 该方法保留所有历史样本，而REINFORCE在每次更新后会丢弃过往经验。
• 理论分析支持实证观察：更简单的策略类收敛更快，但可能无法达到最优性能。