[论文解读] A Control-Model-Based Approach for Reinforcement Learning.

Yingdong Lu, Mark S. Squillante+1 more|arXiv (Cornell University)|May 28, 2019

Reinforcement Learning in Robotics参考文献 17被引用 3

一句话总结

该论文提出了一种新型基于模型的强化学习方法，直接学习最优控制参数，而非建模底层动力学系统。通过支持多种基于控制模型的方法并行执行、交互学习与动态选择，该框架在线性和非线性控制任务中均实现了卓越性能，通过理论与实践验证，展现出显著的实证优势。

ABSTRACT

We consider a new form of model-based reinforcement learning methods that directly learns the optimal control parameters, instead of learning the underlying dynamical system. This includes a form of exploration and exploitation in learning and applying the optimal control parameters over time. This also includes a general framework that manages a collection of such control-model-based reinforcement learning methods running in parallel and that selects the best decision from among these parallel methods with the different methods interactively learning together. We derive theoretical results for the optimal control of linear and nonlinear instances of the new control-model-based reinforcement learning methods. Our empirical results demonstrate and quantify the significant benefits of our approach.

研究动机与目标

• 解决传统基于模型的强化学习方法过于关注学习系统动力学而非最优控制策略的局限性。
• 开发一种直接优化控制参数以提升性能与适应性的框架。
• 实现多种并行基于控制模型的强化学习方法之间的交互学习，以提升决策质量。
• 为所提方法在线性和非线性情形下的最优控制建立理论基础。
• 通过实证验证该方法，并量化其相对于现有方法的优势。

提出的方法

• 该方法直接学习最优控制参数，而非建模底层系统动力学。
• 在控制参数学习过程中整合探索与利用机制。
• 一个通用框架协调多种并行的基于控制模型的强化学习方法，使其能够交互并集体学习。
• 该框架根据性能反馈，从并行方法中选择最优决策。
• 针对线性和非线性控制系统进行理论分析，以确保最优性与稳定性。
• 在基准控制任务上实现并评估该方法，以证明其在实证上的有效性。

实验结果

研究问题

• RQ1 如何重构强化学习，使其优先学习最优控制参数而非系统动力学建模？
• RQ2 在何种理论条件下，直接学习控制参数可确保线性和非线性系统中的最优性能？
• RQ3 多种并行基于控制模型的强化学习方法之间的交互学习如何提升决策质量与收敛性？
• RQ4 与传统基于模型的强化学习相比，直接学习控制参数可带来多大性能提升？
• RQ5 该框架在多样化控制环境中的实证有效性如何？

主要发现

• 所提方法在线性和非线性控制任务中均显著优于传统基于模型的强化学习方法。
• 理论分析证实了该控制参数学习过程在线性和非线性系统中的最优性与稳定性。
• 并行方法间的交互学习提升了决策质量并加速了收敛。
• 该框架实时选择最优方法的能力，带来了稳健且自适应的控制策略。
• 实证结果量化了直接学习控制参数的优势，展示了在学习效率与控制精度方面的可测量提升。