[论文解读] Approximate Kalman Filter Q-Learning for Continuous State-Space MDPs

Charles Tripp, Ross D. Shachter|arXiv (Cornell University)|Sep 26, 2013

Reinforcement Learning in Robotics参考文献 18被引用 3

一句话总结

本文提出了一种基于近似卡尔曼滤波的Q-learning算法，用于连续状态空间马尔可夫决策过程（MDPs），通过基函数表示Q值函数，并利用简化的卡尔曼滤波模型估计最优权重。该方法通过高效在线权重更新最小化平均贝尔曼残差，在标准基准问题上实现了对当前最先进的投影时差学习方法的性能超越。

ABSTRACT

We seek to learn an effective policy for a Markov Decision Process (MDP) with continuous states via Q-Learning. Given a set of basis functions over state action pairs we search for a corresponding set of linear weights that minimizes the mean Bellman residual. Our algorithm uses a Kalman filter model to estimate those weights and we have developed a simpler approximate Kalman filter model that outperforms the current state of the art projected TD-Learning methods on several standard benchmark problems.

研究动机与目标

• 开发一种适用于连续状态空间MDP的可扩展且精确的强化学习方法，其中传统表格型Q-learning不可行。
• 通过使用基函数表示Q值函数，解决连续状态-动作空间中的函数逼近挑战。
• 通过将Q值权重估计建模为卡尔曼滤波问题，提升学习效率和收敛性。
• 与现有投影时差学习方法相比，降低计算成本并提升性能。
• 通过在函数逼近框架中在线递归估计线性权重，最小化平均贝尔曼残差。

提出的方法

• 该方法将Q值函数表示为状态-动作对上基函数的线性组合。
• 将Q值权重估计问题建模为卡尔曼滤波更新，将权重视为具有噪声观测的动态系统。
• 推导出一种近似卡尔曼滤波以降低计算复杂度，同时保持估计精度。
• 算法使用时差误差在线更新Q值权重，以最小化平均贝尔曼残差。
• 卡尔曼滤波模型结合预测和校正步骤，基于新经验递归优化权重估计。
• 通过利用卡尔曼滤波的闭式更新规则，避免了迭代求解器的需求。

实验结果

研究问题

• RQ1 基于卡尔曼滤波的方法是否能在连续MDP中提供比标准投影时差学习更准确、更高效的Q值权重估计？
• RQ2 近似卡尔曼滤波Q-learning在标准基准问题上的性能与当前最先进的函数逼近方法相比如何？
• RQ3 通过卡尔曼滤波最小化平均贝尔曼残差在多大程度上提升了样本效率和收敛速度？
• RQ4 简化的卡尔曼滤波模型是否能在保持高精度的同时减少在线强化学习中的计算开销？
• RQ5 卡尔曼滤波框架是否能在高维连续状态空间中实现稳定且鲁棒的学习？

主要发现

• 所提出的近似卡尔曼滤波Q-learning方法在多个标准基准问题的连续状态空间MDP中优于当前最先进的投影时差学习方法。
• 由于利用卡尔曼滤波框架实现了Q值权重的最优递归估计，该算法实现了更快的收敛速度和更低的误差率。
• 近似卡尔曼滤波模型相比精确卡尔曼滤波显著降低了计算成本，同时保持了高性能。
• 通过基于原理的权重更新最小化平均贝尔曼残差，该方法展示了改进的样本效率。
• 基准问题上的实证结果一致显示学习性能提升，验证了卡尔曼滤波方法在连续MDP函数逼近中的有效性。
• 该方法为迭代方法提供了稳定且可扩展的替代方案，尤其适用于在线和实时学习场景。