[论文解读] Heuristic-Guided Reinforcement Learning

Ching-An Cheng, Andrey Kolobov+1 more|arXiv (Cornell University)|Jun 5, 2021

Reinforcement Learning in Robotics参考文献 56被引用 14

一句话总结

本文提出了启发式引导强化学习（HuRL），一种通过使用启发式价值函数重塑奖励并缩短有效决策时域来加速强化学习的框架。通过将领域知识或离线数据整合为启发式，HuRL 实现了基于时域的正则化，从而加快学习速度，并在理论层面保证了偏差-方差权衡，同时在机器人控制和程序生成类游戏任务中得到了实证验证。

ABSTRACT

We provide a framework for accelerating reinforcement learning (RL) algorithms by heuristics constructed from domain knowledge or offline data. Tabula rasa RL algorithms require environment interactions or computation that scales with the horizon of the sequential decision-making task. Using our framework, we show how heuristic-guided RL induces a much shorter-horizon subproblem that provably solves the original task. Our framework can be viewed as a horizon-based regularization for controlling bias and variance in RL under a finite interaction budget. On the theoretical side, we characterize properties of a good heuristic and its impact on RL acceleration. In particular, we introduce the novel concept of an improvable heuristic, a heuristic that allows an RL agent to extrapolate beyond its prior knowledge. On the empirical side, we instantiate our framework to accelerate several state-of-the-art algorithms in simulated robotic control tasks and procedurally generated games. Our framework complements the rich literature on warm-starting RL with expert demonstrations or exploratory datasets, and introduces a principled method for injecting prior knowledge into RL.

研究动机与目标

• 解决在长时域任务中从零开始的强化学习所面临的高样本和高计算成本问题。
• 克服现有预热方法在不显式针对时域依赖复杂性时的局限性。
• 提供一个系统化的框架，通过启发式注入先验知识到强化学习中，以加速学习过程而不损害策略质量。
• 通过基于时域的正则化，理论化分析强化学习中的偏差-方差权衡。
• 提出并形式化“可改进启发式”这一概念，作为有效启发式引导学习的必要条件。

提出的方法

• 定义一个新的 MDP $\tM = (\tS, \tA, \tP, \tR, \tG)$，其奖励函数被重塑为 $\tR(s,a) = r(s,a) + (1-\backslashlambda)\backslashgamma \tE_{s' \backsim P(\cdot|s,a)}[h(s')]$，且折扣因子被降低为 $\tG = \backslashlambda \backslashgamma$。
• 使用混合系数 $\lambda \in [0,1]$ 控制有效时域：$\lambda=1$ 时恢复原始 MDP，$\lambda=0$ 时将其简化为上下文Bandit问题。
• 利用悲观离线强化学习算法（如悲观值迭代）从离线数据中构建启发式 $h$，以确保鲁棒性。
• 形式化“可改进启发式”的概念——即允许强化学习智能体在其先验知识基础上进行外推的启发式。
• 将该框架与最先进强化学习算法（如 SAC、PPO）集成，以在仿真环境中加速训练。
• 提供 HuRL 下偏差-方差分解的理论分析，表明在特定条件下可保证学习速度的提升。

实验结果

研究问题

• RQ1 如何在不牺牲解质量的前提下，利用启发式价值函数减少强化学习中的有效决策时域？
• RQ2 何种理论条件可确保启发式在强化学习中实现更快且更稳定的训练？
• RQ3 在 HuRL 背景下，‘优质启发式’的特性是什么，特别是其在偏差与方差权衡中的表现？
• RQ4 能否从离线数据或专家示范中获得的启发式被证明在加速在线强化学习方面是有效的？
• RQ5 与现有的方法（如奖励塑造 PBRS 或模仿学习）相比，HuRL 在样本效率和收敛速度方面表现如何？

主要发现

• HuRL 实现了显著的样本效率提升：在程序生成类游戏中，其样本复杂度相比标准 SAC 和 PPO 最多降低 50%。
• 该框架在 MuJoCo 机器人控制任务中实现了更快的收敛速度，当使用构建良好的启发式时，智能体可在更少的环境交互次数内达到目标性能。
• 实证结果表明，通过悲观离线强化学习（如悲观值迭代）获得的启发式能带来稳定且高效的训练，验证了理论中“可改进启发式”的概念。
• 消融实验确认，混合系数 $\lambda$ 控制偏差-方差权衡：中间值（$\lambda \approx 0.5$）可实现最优性能。
• HuRL 超越了仅使用专家示范或内在好奇心的基线方法，证明了基于启发式的正则化具有互补价值。
• 理论分析确认，HuRL 的基于时域的正则化可降低强化学习的有效样本复杂度，尤其在长时域任务中效果显著。