[论文解读] Cover Tree Bayesian Reinforcement Learning

Nikolaos Tziortziotis, Christos Dimitrakakis+1 more|arXiv (Cornell University)|May 8, 2013

Reinforcement Learning in Robotics参考文献 60被引用 15

一句话总结

该论文提出了一种非参数贝叶斯方法——覆盖树贝叶斯强化学习（CTBRL），利用覆盖树对连续状态空间进行数据依赖的划分，从而实现基于分段线性高斯模型的高效在线推断。该方法结合了汤普森采样与近似动态规划，在连续控制任务中实现了卓越的样本效率与稳定性，优于高斯过程、线性模型以及LSPI方法，在在线与离线实验中均表现更优。

ABSTRACT

This paper proposes an online tree-based Bayesian approach for reinforcement learning. For inference, we employ a generalised context tree model. This defines a distribution on multivariate Gaussian piecewise-linear models, which can be updated in closed form. The tree structure itself is constructed using the cover tree method, which remains efficient in high dimensional spaces. We combine the model with Thompson sampling and approximate dynamic programming to obtain effective exploration policies in unknown environments. The flexibility and computational simplicity of the model render it suitable for many reinforcement learning problems in continuous state spaces. We demonstrate this in an experimental comparison with least squares policy iteration.

研究动机与目标

• 解决在未知动力学下，连续状态强化学习中高效探索与推断的挑战。
• 开发一种可扩展的非参数贝叶斯模型，支持在线学习与不确定性感知决策。
• 相比高斯过程与线性模型等现有方法，提升样本效率与稳定性。
• 通过在灵活的分段线性模型结构中应用汤普森采样，实现有效的探索。

提出的方法

• 利用覆盖树基于度量层次结构递归划分状态空间，实现对数时间复杂度的推断。
• 采用广义上下文树模型定义分段线性高斯模型的先验分布，支持闭式贝叶斯更新。
• 通过从模型后验分布中采样实现汤普森采样，以促进探索与利用之间的最优平衡。
• 将模型与近似动态规划（ADP）结合，基于价值函数估计计算策略。
• 在覆盖树的每个叶节点上使用多元线性模型表示局部动力学与奖励。
• 通过在新转移数据到达时逐步更新模型，支持在线学习，同时保持计算效率。

实验结果

研究问题

• RQ1 具有数据依赖结构的非参数贝叶斯模型是否能提升连续状态强化学习中的样本效率？
• RQ2 当与覆盖树划分的分段线性模型结合时，汤普森采样的表现如何？
• RQ3 与高斯过程相比，覆盖树结构是否能在高维状态空间中实现可扩展的推断？
• RQ4 在稳定性与累积奖励方面，CTBRL相较于线性模型与基于GP的RL方法表现如何？
• RQ5 尽管无法从GP后验分布中直接采样函数，该方法是否仍能在在线与离线设置中保持优异性能？

主要发现

• CTBRL在在线与离线基准任务中始终优于基于高斯过程的强化学习、线性贝叶斯模型以及LSPI方法。
• 该方法在累积奖励与稳定性方面显著优于竞争方法，尤其在在线设置中表现更优。
• 即使在理论上处于劣势的离线实验中，CTBRL结合汤普森采样仍实现了更优的探索效果。
• 线性模型基线的表现劣于GP-RL与CTBRL，表明成功的关键在于覆盖树结构，而非线性模型本身。
• 由于覆盖树推断具有对数时间复杂度，该方法在高维空间中展现出良好的可扩展性与效率。
• 尽管直接从GP后验分布中采样不可行，CTBRL仍优于GP模型，表明其模型结构与推断效率具有显著优势。