[论文解读] Finite Horizon Q-learning: Stability, Convergence, Simulations and an application on Smart Grids

Vivek VP, Shalabh Bhatnagar|arXiv (Cornell University)|Oct 27, 2021

Smart Grid Energy Management被引用 5

一句话总结

本文提出了一种用于具有阶段依赖动态和奖励的马尔可夫决策过程的有限 horizon Q-learning 算法，利用常规微分方程（O.D.E）方法证明了其几乎必然收敛性和稳定性。该算法在智能电网能源管理中表现优于基线策略，在可再生能源和非可再生能源情景下均显著降低了平均成本。

ABSTRACT

Q-learning is a popular reinforcement learning algorithm. This algorithm has however been studied and analysed mainly in the infinite horizon setting. There are several important applications which can be modeled in the framework of finite horizon Markov decision processes. We develop a version of Q-learning algorithm for finite horizon Markov decision processes (MDP) and provide a full proof of its stability and convergence. Our analysis of stability and convergence of finite horizon Q-learning is based entirely on the ordinary differential equations (O.D.E) method. We also demonstrate the performance of our algorithm on a setting of random MDP as well as on an application on smart grids.

研究动机与目标

• 开发一种适用于具有阶段依赖转移概率和奖励的有限 horizon 马尔可夫决策过程（MDPs）的 Q-learning 算法。
• 利用随机逼近框架和 O.D.E. 方法，对有限 horizon Q-learning 提供严格的稳定性与收敛性分析。
• 在随机 MDP 和涉及微电网能源管理的实际智能电网应用中，展示该算法的性能。
• 证明即使在缺乏完整模型信息的情况下，该算法仍能收敛到最优 Q-value。

提出的方法

• 通过在 N 个阶段中引入阶段依赖的 Q-value 更新，将标准 Q-learning 扩展至有限 horizon MDP。
• 采用具有时变学习率的随机逼近框架，基于采样的状态-动作-奖励-下一状态转移来更新 Q-value。
• 通过 O.D.E. 方法建立收敛性，表明 Q-value 递推几乎必然收敛到最优 Q-value。
• 通过在转移函数和奖励函数中显式建模时间依赖性，处理非平稳动态和奖励。
• 在随机 MDP 和智能电网 MDP 的实验中，使用动态规划基线来验证学习到的 Q-value。
• 智能电网应用将微电网决策建模为具有状态（需求、电池、价格）、动作（从电网购买、放电电池）和基于成本的奖励的有限 horizon MDP。

实验结果

研究问题

• RQ1 能否严格证明在具有阶段依赖动态和奖励的有限 horizon MDP 中，Q-learning 算法能够收敛？
• RQ2 所提出的有限 horizon Q-learning 算法在部分模型信息下是否保持稳定并收敛到最优 Q-value？
• RQ3 在能源管理任务中，有限 horizon Q-learning 的性能与基线启发式方法相比如何？
• RQ4 可再生能源的可用性在多大程度上降低了微电网管理中的运行成本？

主要发现

• 通过 O.D.E. 方法证明，有限 horizon Q-learning 算法几乎必然收敛到最优 Q-value。
• 在随机 MDP 中，该算法获得的 Q-value 接近于全信息动态规划所得结果。
• 在智能电网应用中，有限 horizon Q-learning 将平均成本降低至 0.1152（含可再生能源），而“满足需求”基线的平均成本为 0.7857。
• “充满电池”基线的成本显著更高（例如，5.6629），尤其在高需求和低电量情况下，远高于有限 horizon Q-learning。
• 在高需求情景下，包含可再生能源发电使平均成本降低超过 90%，证明了其对成本效率的显著影响。
• 在所有测试情景中，该算法均优于两个基线，无论在可再生能源还是非可再生能源环境下，均实现了稳定的成本降低。