[论文解读] Continuous-Time Model-Based Reinforcement Learning

Çağatay Yıldız, Markus Heinonen+1 more|arXiv (Cornell University)|Feb 9, 2021

Reinforcement Learning in Robotics被引用 9

一句话总结

本文提出了一种基于连续时间的模型化强化学习框架，利用贝叶斯神经常微分方程（Bayesian neural ODEs）建模状态动力学，并提出一种新颖的演员-评论家算法，直接在连续时间中学习最优策略。该方法在具有噪声和非规则数据的控制任务中表现出稳健性能，通过避免时间离散化误差，并利用概率性ODE推断显式建模认知不确定性，优于离散时间的MBRL方法。

ABSTRACT

Model-based reinforcement learning (MBRL) approaches rely on discrete-time state transition models whereas physical systems and the vast majority of control tasks operate in continuous-time. To avoid time-discretization approximation of the underlying process, we propose a continuous-time MBRL framework based on a novel actor-critic method. Our approach also infers the unknown state evolution differentials with Bayesian neural ordinary differential equations (ODE) to account for epistemic uncertainty. We implement and test our method on a new ODE-RL suite that explicitly solves continuous-time control systems. Our experiments illustrate that the model is robust against irregular and noisy data, is sample-efficient, and can solve control problems which pose challenges to discrete-time MBRL methods.

研究动机与目标

• 解决离散时间MBRL方法与本质上连续时间的物理系统之间的根本性不匹配问题。
• 开发一种理论上一致的连续时间演员-评论家算法，避免连续时间强化学习中常见的Q函数消失问题。
• 利用贝叶斯神经常微分方程在连续时间中实现不确定性感知的动力学建模，以提升对噪声和非规则数据的鲁棒性。
• 证明连续时间建模相较于离散时间近似，能带来更精确和稳定的控制策略。

提出的方法

• 提出一种基于常微分方程（ODEs）的连续时间强化学习框架，将状态转移建模为连续导数而非离散步长。
• 使用贝叶斯神经常微分方程（ENODE）推断未知的状态演化动力学及其认知不确定性，从而提升对噪声和稀疏观测的鲁棒性。
• 提出一种新颖的连续时间演员-评论家算法，通过直接在连续时间价值函数上操作，推广标准策略学习方法。
• 采用自适应常微分方程求解器（如dopri5）进行所学动力学的前向仿真，确保数值精度。
• 使用具有ReLU激活函数的策略网络，并通过TANH输出缩放，确保控制动作的有界性。
• 使用具有TANH激活函数的评论家网络，确保价值函数估计的平滑性，避免在连续时间设置中出现ReLU导致的不稳定性。

实验结果

研究问题

• RQ1 连续时间模型化强化学习框架是否在样本效率和对非规则数据的鲁棒性方面优于离散时间MBRL？
• RQ2 如何在连续时间控制中有效建模并传播未知动力学中的认知不确定性？
• RQ3 是否能够设计一种在理论上一致的连续时间强化学习演员-评论家算法，避免Q函数消失问题？
• RQ4 不同常微分方程求解器如何影响连续时间策略学习的准确性和稳定性？
• RQ5 所提出的框架是否能够在不依赖时间离散化的情况下，从噪声或非规则采样的数据中学习到最优策略？

主要发现

• 所提出的连续时间MBRL框架在CartPole和Acrobot任务中表现优于离散时间MBRL，尤其在噪声和非规则观测条件下表现更优。
• 使用贝叶斯神经常微分方程显著提升了对噪声和稀疏数据的鲁棒性，相比标准离散时间模型，预测误差更低。
• 连续时间演员-评论家算法成功避免了Q函数消失问题，并实现了连续时间下的稳定策略学习。
• 自适应常微分方程求解器（如dopri5和RK78）提供了高数值精度，而离散时间近似（如Euler）则随时间累积了显著误差。
• 该方法表现出高样本效率，通过比离散时间方法更少的环境交互次数即可学习到有效策略。
• 实验结果表明，连续时间框架的轨迹与真实ODE解高度吻合，而离散时间轨迹则显著发散，如图1所示。