[论文解读] Incremental Reinforcement Learning --- a New Continuous Reinforcement Learning Frame Based on Stochastic Differential Equation methods

Tianhao Chen, Limei Cheng+3 more|arXiv (Cornell University)|Aug 8, 2019

Reinforcement Learning in Robotics参考文献 27被引用 5

一句话总结

本文提出增量强化学习（IRL），一种基于随机微分方程（SDEs）的新颖连续强化学习框架，可确保动作连续性并控制动作方差。通过将动作建模为连续的SDE过程并引入环境预测，IRL使智能体能够实时主动调整动作，在连续控制任务中相比DDPG和A3C展现出更高的稳定性和平滑性。

ABSTRACT

Continuous reinforcement learning such as DDPG and A3C are widely used in robot control and autonomous driving. However, both methods have theoretical weaknesses. While DDPG cannot control noises in the control process, A3C does not satisfy the continuity conditions under the Gaussian policy. To address these concerns, we propose a new continues reinforcement learning method based on stochastic differential equations and we call it Incremental Reinforcement Learning (IRL). This method not only guarantees the continuity of actions within any time interval, but controls the variance of actions in the training process. In addition, our method does not assume Markov control in agents' action control and allows agents to predict scene changes for action selection. With our method, agents no longer passively adapt to the environment. Instead, they positively interact with the environment for maximum rewards.

研究动机与目标

• 解决现有连续强化学习方法（如DDPG和A3C）在理论上的弱点，特别是关于动作连续性和方差控制的问题。
• 开发一种新的连续强化学习框架，确保价值估计网络的存在性与唯一性。
• 使智能体能够基于不断演化的环境状态主动预测并调整动作，超越被动适应。
• 消除在动作策略设计中对离散时间步长和马尔可夫假设的依赖。
• 通过连续增量式动作调整减少信息更新延迟，提升实时决策能力。

提出的方法

• 使用随机微分方程（SDEs）构建动作策略，以确保动作在时间上的内在连续性。
• 引入环境估计网络以预测未来状态变化，并指导增量式动作调整。
• 采用基于SDE的连续策略梯度方法，避免A3C等高斯策略方法固有的不连续性。
• 应用科尔莫戈罗夫连续性定理，从理论上保证动作路径的连续性，优于A3C和DDPG。
• 引入边界惩罚正则化项（JRange），防止动作溢出的同时保持策略稳定性。
• 对基于SDE的连续框架进行离散化处理，以实现训练中的实际应用，并提供理论依据。

实验结果

研究问题

• RQ1 能否设计一种连续强化学习框架，确保动作连续性并控制方差，而无需依赖离散时间步长？
• RQ2 用基于SDE的策略替代马尔可夫假设，是否能提升连续控制任务中的稳定性和性能？
• RQ3 环境预测能否提升动态环境中动作调整的响应速度和准确性？
• RQ4 与A3C和DDPG相比，基于SDE的策略在收敛性和动作平滑性方面表现如何？
• RQ5 使用SDE进行连续控制的理论与实际限制是什么，特别是关于边界约束和收敛速度的问题？

主要发现

• 所提出的IRL框架通过使用随机微分方程建模动作，确保了动作路径的连续性，满足科尔莫戈罗夫连续性条件。
• IRL在模拟结果中（如图4所示）展现出比DDPG和A3C更平滑、更稳定的控制性能。
• 环境估计网络使智能体能够基于预测的状态变化主动调整动作，从而减少实时决策延迟。
• 该方法通过SDE参数控制动作方差，相比DDPG的噪声注入方式，提供了更优的随机性管理。
• 边界惩罚项（JRange）在防止动作溢出方面有效，但收敛速度仍是挑战。
• 理论分析表明，A3C的高斯策略因科尔莫戈罗夫条件不成立而无法保证动作连续性，暴露了现有方法的根本性局限。