[论文解读] Kalman meets Bellman: Improving Policy Evaluation through Value Tracking

Shirli Di-Castro Shashua, Shie Mannor|arXiv (Cornell University)|Feb 17, 2020

Reinforcement Learning in Robotics参考文献 63被引用 9

一句话总结

该论文提出 KOVA（Kalman Optimization for Value Approximation），一种基于扩展卡尔曼滤波的框架，通过联合建模参数不确定性和观测不确定性，改进深度强化学习中的策略评估。通过最小化同时考虑两类不确定性的正则化目标，KOVA 实现了更鲁棒的值函数近似和更优的探索能力，在连续控制任务中优于标准方法如 Adam 和 GPTD，同时支持在线策略和离线策略学习。

ABSTRACT

Policy evaluation is a key process in Reinforcement Learning (RL). It assesses a given policy by estimating the corresponding value function. When using parameterized value functions, common approaches minimize the sum of squared Bellman temporal-difference errors and receive a point-estimate for the parameters. Kalman-based and Gaussian-processes based frameworks were suggested to evaluate the policy by treating the value as a random variable. These frameworks can learn uncertainties over the value parameters and exploit them for policy exploration. When adopting these frameworks to solve deep RL tasks, several limitations are revealed: excessive computations in each optimization step, difficulty with handling batches of samples which slows training and the effect of memory in stochastic environments which prevents off-policy learning. In this work, we discuss these limitations and propose to overcome them by an alternative general framework, based on the extended Kalman filter. We devise an optimization method, called Kalman Optimization for Value Approximation (KOVA) that can be incorporated as a policy evaluation component in policy optimization algorithms. KOVA minimizes a regularized objective function that concerns both parameter and noisy return uncertainties. We analyze the properties of KOVA and present its performance on deep RL control tasks.

研究动机与目标

• 解决现有基于卡尔曼滤波和高斯过程的方法在深度强化学习策略评估中的局限性，如可扩展性差、批处理效率低，以及在随机环境中对记忆效应敏感的问题。
• 开发一种可扩展的、通用的值函数近似框架，支持使用深度神经网络的在线策略和离线策略学习。
• 将不确定性估计整合到值函数优化中，以提升策略探索能力和学习稳定性。
• 支持小批量采样训练，相比无迹卡尔曼滤波方法减少计算开销。

提出的方法

• KOVA 使用扩展卡尔曼滤波（EKF）将值函数参数建模为具有时变均值和协方差的随机变量，实现在线不确定性追踪。
• 其正则化目标函数同时最小化参数误差和噪声回报不确定性，以合理方式结合预测误差和观测误差。
• 该方法采用状态空间模型，其中观测函数 h(u;θt) 表示值网络的输出，目标标签 y(u) 对应该贝尔曼更新目标。
• KOVA 通过超参数 η 动态调整过程噪声协方差，以控制追踪与收敛之间的权衡。
• 通过将值函数优化与策略更新阶段解耦，支持在线策略和离线策略学习。
• 该框架与标准策略优化算法（如 PPO、TRPO、SAC 和 ACKTR）兼容，可作为即插即用的值函数优化器。

实验结果

研究问题

• RQ1 基于 EKF 的框架是否能通过联合建模参数和观测不确定性，改进深度强化学习中的值函数近似？
• RQ2 KOVA 的不确定性感知优化在样本效率和策略性能方面与标准方法 Adam 和 GPTD 相比如何？
• RQ3 通过 KOVA 实现的不确定性追踪是否能带来更高的策略探索度和更高的累积奖励？
• RQ4 超参数 η 和 P_nt 对不同环境中学习稳定性和性能的影响是什么？
• RQ5 KOVA 的计算成本为何高于 Adam？这一问题在未来工作中能否得到缓解？

主要发现

• KOVA 在 MuJoCo 环境（如 Swimmer、Hopper、HalfCheetah、Ant 和 Walker2d）中显著提升了策略性能，其平均回合奖励高于 Adam 和 GPTD。
• 在 PPO 和 TRPO 中，KOVA 的训练时间相比 Adam 增加了 44%–60%；在 SAC 中，增加高达 482%，表明其在精度与速度之间存在权衡。
• 尽管计算成本更高，KOVA 始终提升了策略熵，且该提升与更高的样本效率和更高的累积奖励相关。
• 观测噪声协方差 P_nt 的最大比率（max-ratio）和批量大小（batch-size）设置均带来性能提升，其中最大比率设置表现出更强的鲁棒性。
• KOVA 在深度强化学习设置中优于 GPTD 和 KTD，原因在于其支持小批量处理、支持离线策略学习，并可扩展至高维深度神经网络。
• 控制过程噪声的超参数 η 对性能有显著影响，较低值（如 0.001）在 Swimmer 和 HalfCheetah 中表现更优。