[论文解读] Greedy Algorithms for Sparse Reinforcement Learning

Christopher Painter-Wakefield, Ronald Parr|arXiv (Cornell University)|Jun 27, 2012

Energy Harvesting in Wireless Networks参考文献 22被引用 30

一句话总结

本文提出了一种贪心特征选择算法——具体为正交匹配追踪（OMP）的变体——用于稀疏强化学习，旨在提升样本效率和近似精度。它引入了具有理论恢复保证的 OMP-BRM，以及在基准任务中在准确性和速度上均优于 L1 正则化方法的 OMP-TD。

ABSTRACT

Feature selection and regularization are becoming increasingly prominent tools in the efforts of the reinforcement learning (RL) community to expand the reach and applicability of RL. One approach to the problem of feature selection is to impose a sparsity-inducing form of regularization on the learning method. Recent work on $L_1$ regularization has adapted techniques from the supervised learning literature for use with RL. Another approach that has received renewed attention in the supervised learning community is that of using a simple algorithm that greedily adds new features. Such algorithms have many of the good properties of the $L_1$ regularization methods, while also being extremely efficient and, in some cases, allowing theoretical guarantees on recovery of the true form of a sparse target function from sampled data. This paper considers variants of orthogonal matching pursuit (OMP) applied to reinforcement learning. The resulting algorithms are analyzed and compared experimentally with existing $L_1$ regularized approaches. We demonstrate that perhaps the most natural scenario in which one might hope to achieve sparse recovery fails; however, one variant, OMP-BRM, provides promising theoretical guarantees under certain assumptions on the feature dictionary. Another variant, OMP-TD, empirically outperforms prior methods both in approximation accuracy and efficiency on several benchmark problems.

研究动机与目标

• 通过特征选择促进稀疏性，解决强化学习中高维特征空间的挑战。
• 通过探索理论和实证性能更强的贪心算法，克服 L1 正则化在稀疏恢复中的局限性。
• 开发并分析专用于强化学习中时序差分学习的 OMP 基方法。
• 证明贪心算法可实现比现有 L1 正则化方法更优的近似精度和计算效率。
• 建立 OMP-BRM 可恢复真实稀疏值函数的理论条件。

提出的方法

• 将正交匹配追踪（OMP）算法适配到强化学习中的时序差分（TD）学习框架。
• 提出 OMP-TD，一种基于特征与残差 TD 误差相关性的贪心特征选择变体。
• 提出 OMP-BRM（最优响应匹配）作为变体，通过最优响应更新提升理论恢复保证。
• 使用特征词典将值函数表示为基函数的稀疏线性组合。
• 应用正交投影以保持残差正交性，确保特征选择的稳定与高效。
• 将贪心特征选择集成到 TD(0) 更新规则中，实现实时学习下的稀疏函数逼近。

实验结果

研究问题

• RQ1 通过 OMP 的贪心特征选择能否在强化学习中实现比 L1 正则化方法更优的近似精度和计算效率？
• RQ2 在何种条件下 OMP-BRM 可以可证明地恢复真实的稀疏值函数？
• RQ3 为何最自然的稀疏恢复场景在标准强化学习设置中会失败？
• RQ4 OMP-TD 与 L1 正则化 TD 学习相比，在基准环境中的收敛速度和准确度如何？
• RQ5 在强化学习函数逼近中，贪心选择与 L1 正则化之间的理论与实证权衡是什么？

主要发现

• OMP-TD 在多个基准强化学习问题中，均优于 L1 正则化方法，在近似精度和计算效率方面表现更优。
• 在标准强化学习中，最自然的稀疏恢复场景会失败，原因在于经验数据的非独立同分布特性以及存在自举误差。
• OMP-BRM 在关于特征词典和数据分布的特定假设下，可提供对真实稀疏值函数的理论恢复保证。
• 贪心算法如 OMP 可实现与 L1 方法相当的性能，同时在实践中显著更高效。
• 实证结果表明，OMP-TD 在标准控制任务中收敛更快且误差更低，优于 L1 正则化 TD 学习。
• 理论分析表明，OMP-BRM 在相干性条件和足够采样条件下，可确保正确特征集的恢复。