[论文解读] Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs

Stefan Werner, Sebastian Peitz|arXiv (Cornell University)|Feb 14, 2023

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出了一种基于模型的强化学习框架，利用数据驱动的、带驱动的卷积LSTM代理模型，显著提升了控制偏微分方程（PDEs）的样本效率。通过联合训练强化学习智能体与代理模型，并迭代更新模型以减少误差累积，该方法相比无模型方法将数据需求降低了整整一个数量级，消融研究证实了在线模型自适应和集成式 rollout 的必要性。

ABSTRACT

The goal of this paper is to make a strong point for the usage of dynamical models when using reinforcement learning (RL) for feedback control of dynamical systems governed by partial differential equations (PDEs). To breach the gap between the immense promises we see in RL and the applicability in complex engineering systems, the main challenges are the massive requirements in terms of the training data, as well as the lack of performance guarantees. We present a solution for the first issue using a data-driven surrogate model in the form of a convolutional LSTM with actuation. We demonstrate that learning an actuated model in parallel to training the RL agent significantly reduces the total amount of required data sampled from the real system. Furthermore, we show that iteratively updating the model is of major importance to avoid biases in the RL training. Detailed ablation studies reveal the most important ingredients of the modeling process. We use the chaotic Kuramoto-Sivashinsky equation do demonstarte our findings.

研究动机与目标

• 为解决控制复杂PDE驱动系统时强化学习（RL）的高样本复杂度问题，此类系统通常需要数千万至上亿次环境交互。
• 探究在强化学习训练过程中并行学习代理模型是否能显著降低样本高效控制的数据需求。
• 评估模型误差累积对策略学习的影响，并识别在低数据环境下稳定模型基强化学习的机制。
• 在混沌PDE上证明，采用迭代模型更新和集成 rollout 的模型基强化学习方法，优于无模型和朴素模型基基线方法。
• 提供实证证据与消融研究，表明代理建模不仅有益，而且对PDE控制中的样本效率至关重要。

提出的方法

• 训练一个卷积LSTM作为代理模型，以预测PDE状态的时间演化，同时将执行动作直接集成到模型架构中，以提高预测准确性。
• 强化学习智能体与代理模型以端到端方式联合训练，使智能体能够利用基于模型的 rollout 进行策略优化，而无需依赖真实环境交互。
• 在训练过程中迭代更新模型权重，以防止偏差累积并减少误差累积，确保代理模型与真实系统动力学保持一致。
• 采用基于集成的模型 rollout 以多样化探索并稳定学习，结合一种课程学习策略，逐步增加 rollout 长度。
• 消融研究将完整方法与无在线模型更新、无集成或使用替代代理架构的变体进行对比，以隔离关键组件。
• 在混沌的Kuramoto-Sivashinsky方程上评估该方法，该方程是非线性PDE控制的基准，使用离线评估指标来评估策略性能与泛化能力。

Figure 1: In model-based RL with learned models, collected data serves two purposes. Samples are used to learn a model of the system dynamics and to estimate update targets for the model-free agent. Using rollouts of the agent in the model, algorithms collect additional data to improve their behavio

实验结果

研究问题

• RQ1 在强化学习训练过程中并行学习代理模型，是否能显著减少控制PDE所需的真正环境交互次数？
• RQ2 迭代模型更新在低数据环境下对模型基强化学习的稳定性和收敛性有何影响？
• RQ3 模型误差累积对策略性能有何影响？如何缓解该问题？
• RQ4 与固定长度或单模型 rollout 相比，基于集成的 rollout 和课程学习在稳定训练过程方面表现如何？
• RQ5 基于残差的代理模型在泛化能力和样本效率方面是否优于全状态预测模型？

主要发现

• 所提出的模型基强化学习方法相比无模型基线方法，将所需环境样本总数减少了约一个数量级。
• 迭代模型更新对于防止偏差累积并维持策略性能至关重要，静态模型会导致学习不稳定且泛化能力差。
• 基于集成的 rollout 显著提升了训练稳定性并降低了方差，优于易受模型误差影响的单模型 rollout。
• 代理模型消融实验（使用全状态预测而非残差）即使在收敛稳定的情况下，仍因早期阶段持续存在的预测误差而无法泛化到真实系统。
• 仅靠随机探索不足以覆盖相关状态空间，导致策略优化发散，因为预测误差随时间累积增长。
• 结合在线模型自适应、集成与课程学习的完整方法实现了最稳定且性能最高的策略，各次试验的标准差最低。

Figure 2: Our surrogate model is composed of a state encoder $f_{\boldsymbol{\theta}_{\mathrm{enc}}}$ (yellow), an action encoder $f_{\boldsymbol{\psi}_{\mathrm{enc}}}$ (red) and a convolutional LSTM cell $f_{\boldsymbol{\theta}_{\mathrm{fwd}}}$ (green) modeling the transition dynamics, as well as a