[论文解读] Online Reinforcement Learning for Real-Time Exploration in Continuous State and Action Markov Decision Processes

Ludovic Hofer, Hugo Gimbert|arXiv (Cornell University)|Dec 12, 2016

Reinforcement Learning in Robotics参考文献 18被引用 4

一句话总结

本文提出Fitted Policy Forest（FPF）算法，一种用于连续状态与动作马尔可夫决策过程（MDP）的无模型在线强化学习方法，支持对数时间复杂度的动作选择，实现低延迟策略推理。FPF通过重采样与叶节点合并，将Q值的回归森林转化为紧凑的策略树，实现低计算开销与强泛化性能，无需预先设定结构假设，在基准测试中优于FQI与BAS等方法，尤其在随机环境（如倒立摆）中表现更优。

ABSTRACT

This paper presents a new method to learn online policies in continuous state, continuous action, model-free Markov decision processes, with two properties that are crucial for practical applications. First, the policies are implementable with a very low computational cost: once the policy is computed, the action corresponding to a given state is obtained in logarithmic time with respect to the number of samples used. Second, our method is versatile: it does not rely on any a priori knowledge of the structure of optimal policies. We build upon the Fitted Q-iteration algorithm which represents the $Q$-value as the average of several regression trees. Our algorithm, the Fitted Policy Forest algorithm (FPF), computes a regression forest representing the Q-value and transforms it into a single tree representing the policy, while keeping control on the size of the policy using resampling and leaf merging. We introduce an adaptation of Multi-Resolution Exploration (MRE) which is particularly suited to FPF. We assess the performance of FPF on three classical benchmarks for reinforcement learning: the "Inverted Pendulum", the "Double Integrator" and "Car on the Hill" and show that FPF equals or outperforms other algorithms, although these algorithms rely on the use of particular representations of the policies, especially chosen in order to fit each of the three problems. Finally, we exhibit that the combination of FPF and MRE allows to find nearly optimal solutions in problems where $ε$-greedy approaches would fail.

研究动机与目标

• 开发一种适用于连续状态与动作马尔可夫决策过程（MDP）的无模型在线强化学习算法，支持实时策略推理。
• 在策略计算后实现低计算开销的动作选择——时间复杂度为样本数量的对数级，适用于嵌入式机器人系统。
• 设计一种无需预知最优策略结构的通用方法，避免依赖手工设计的函数基。
• 将FPF与多分辨率探索（MRE）结合，以在高维、随机控制问题中实现有效探索。
• 在无需超参数调优的情况下，验证FPF在复杂控制基准任务（如倒立摆、双积分器、上坡小车）中的有效性。

提出的方法

• FPF使用回归森林表示Q值函数，基于Fitted Q-Iteration，实现平滑且高效的Q值近似。
• 通过从每个状态中提取最大化Q值的动作，将Q值森林转换为单一策略树，利用重采样与叶节点合并控制策略规模。
• 采用受极端随机树启发的随机分裂策略，提升策略表示的平滑性与泛化能力。
• 将多分辨率探索（MRE）适配为通过kd树追踪状态-动作知识，以维持乐观探索，同时通过随机分裂提升探索效率。
• 修改Q值更新规则，降低对局部最大值的吸引，提升在随机环境中的收敛性。
• 策略近似采用分段线性（PWL）或分段常数（PWC）函数，PWL在最优策略为bang-bang时仍能保持性能。

实验结果

研究问题

• RQ1 能否从回归森林中导出的策略实现在连续MDP中的实时、低开销动作推理？
• RQ2 在无预先结构假设的前提下，FPF是否在随机、连续控制问题中优于FQI与BAS等现有方法？
• RQ3 FPF与MRE的结合能否在无需手动调参的情况下实现有效探索？
• RQ4 与分段常数近似相比，使用分段线性策略近似对性能有何影响？
• RQ5 FPF的通用性在多大程度上使其能泛化至多样化的控制基准？

主要发现

• FPF在策略计算后实现对数时间复杂度的动作选择，适用于实时嵌入式控制场景。
• 在倒立摆摆动提升任务中，FPF优于FQI与BAS，尤其在随机设置下表现更优，最佳策略在100步内获得累计奖励-101。
• 在500次评估实验中，奖励分布显示高度变异性，最佳策略平均性能显著优于最差策略，表明在生成多策略时具备强可靠性。
• FPF:PWL（分段线性策略近似）在三个基准中的两个上优于FPF:PWC（分段常数），在第三个基准上性能相当，表明即使最优策略为bang-bang时也具备鲁棒性。
• FPF与MRE的结合实现了无需参数调优的有效探索，在ε-greedy方法失效的问题中，始终能稳定找到接近最优的解。
• 该方法的通用性在三个不同基准中得到验证，表现出色，且无需针对具体问题设计函数基。