[论文解读] Gradient-based Reinforcement Planning in Policy-Search Methods

Ivo Kwee, Marcus Hütter+1 more|ArXiv.org|Nov 28, 2001

Reinforcement Learning in Robotics参考文献 8被引用 8

一句话总结

本文提出梯度强化规划（GREP），一种新颖的策略搜索方法，通过使用环境模型进行前瞻性的、基于梯度的规划来改进策略。通过基于期望状态占用和奖励最大化的精确策略梯度推导，GREP可在采取行动前实现全局策略优化，数值结果表明其能收敛至最优策略——尽管速度较慢——尤其在小型MDP中表现明显。

ABSTRACT

We introduce a learning method called ``gradient-based reinforcement planning'' (GREP). Unlike traditional DP methods that improve their policy backwards in time, GREP is a gradient-based method that plans ahead and improves its policy before it actually acts in the environment. We derive formulas for the exact policy gradient that maximizes the expected future reward and confirm our ideas with numerical experiments.

研究动机与目标

• 开发一种基于策略梯度的方法，利用环境模型进行前瞻规划，而非依赖反向值迭代。
• 推导出可最大化未来期望奖励的精确解析表达式作为策略梯度。
• 通过前向仿真实现全局策略改进，与传统反向动态规划形成对比。
• 将规划与在线模型学习相结合，以期应用于部分可观察MDP（POMDP）和大规模强化学习。
• 在小型MDP环境中评估该方法的收敛性与性能，并与贪婪策略和退火基线进行比较。

提出的方法

• GREP 使用投影矩阵 $\mathbf{F}$ 来建模策略诱导的状态转移，定义为 $F_{ji} = \sum_k T_{kji} P_{ki}$，其中 $T_{kji}$ 为环境转移概率，$P_{ki}$ 为策略参数。
• 期望状态占用 $\mathbf{z}$ 计算为 $\mathbf{z} = (\mathbf{I} - \gamma \mathbf{F})^{-1} \mathbf{s}_0$，表示在策略下受折扣的状态访问情况。
• 通过基于梯度的优化最大化期望未来奖励 $H = \langle \mathbf{r}, \mathbf{z} \rangle$，策略梯度推导为 $\nabla_{\mathbf{P}} H = \sum_k \mathbf{F}_k^T \mathbf{q} \mathbf{s}_t^T$，其中 $\mathbf{q}$ 为未来奖励的伴随向量。
• 该方法将规划（梯度更新）与动作选择及环境模型学习相结合，通过观测到的转移对 $\mathbf{T}_k$ 和 $\mathbf{F}_k$ 进行在线更新。
• 提出一种类似卡尔曼滤波的估计框架，以处理状态和观测的不确定性，使用独立的精度矩阵 $\mathbf{H}_s$ 和 $\mathbf{H}_y$。
• 利用推导出的梯度更新策略参数，方法支持重参数化（如玻尔兹曼分布）以改善收敛性，尽管本文未进一步探索此方向。

实验结果

研究问题

• RQ1 基于梯度的策略优化能否与前瞻规划有效结合，以提升策略收敛性？
• RQ2 基于模型的前瞻规划方法与传统反向动态规划在策略搜索中的表现有何差异？
• RQ3 不同的折扣因子 $\gamma_z$ 和 $\gamma_q$ 对策略梯度更新的性能与行为有何影响？
• RQ4 GREP能否在部分可观察环境中与在线模型学习有效集成？
• RQ5 在小型MDP中，GREP的性能与贪婪或退火策略相比如何？

主要发现

• GREP 成功地利用期望状态占用和伴随奖励传播，推导出精确的策略梯度，从而实现全局策略改进。
• 数值实验确认，概率性策略能收敛至最优策略，尽管收敛速度相对较慢。
• 在小型MDP示例中，使用退火或贪婪动作选择比GREP的完整梯度更新更快找到最优解。
• 该方法支持对状态占用（$\gamma_z$）和奖励伴随（$\gamma_q$）分别进行折扣，暗示其具备自适应规划时域的潜力。
• GREP与类似卡尔曼的估计框架的集成，使得能够处理状态和观测的不确定性，从而适用于类似POMDP的场景。
• 对于更大规模的问题，$\mathbf{z}$ 和 $\mathbf{q}$ 的解析解变得不可行，表明需要采用蒙特卡洛或动态规划近似方法。