[论文解读] Decoupled Data Based Approach for Learning to Control Nonlinear Dynamical Systems

Ran Wang, Karthikeya S. Parunandi+3 more|arXiv (Cornell University)|Apr 17, 2019

Adaptive Dynamic Programming Control被引用 4

一句话总结

本文提出了一种解耦的数据驱动控制（D2C）算法，用于在未知的非线性随机动力系统中学习最优控制，这些系统具有连续的状态和动作空间。通过利用线性化将开环轨迹优化与闭环反馈控制分离，D2C在显著减少训练时间并提高数据效率方面，相较于最先进的深度强化学习方法（如DDPG），实现了接近最优的性能。

ABSTRACT

This paper addresses the problem of learning the optimal control policy for a nonlinear stochastic dynamical system with continuous state space, continuous action space and unknown dynamics. This class of problems are typically addressed in stochastic adaptive control and reinforcement learning literature using model-based and model-free approaches respectively. Both methods rely on solving a dynamic programming problem, either directly or indirectly, for finding the optimal closed loop control policy. The inherent `curse of dimensionality' associated with dynamic programming method makes these approaches also computationally difficult. This paper proposes a novel decoupled data-based control (D2C) algorithm that addresses this problem using a decoupled, `open loop - closed loop', approach. First, an open-loop deterministic trajectory optimization problem is solved using a black-box simulation model of the dynamical system. Then, a closed loop control is developed around this open loop trajectory by linearization of the dynamics about this nominal trajectory. By virtue of linearization, a linear quadratic regulator based algorithm can be used for this closed loop control. We show that the performance of D2C algorithm is approximately optimal. Moreover, simulation performance suggests significant reduction in training time compared to other state of the art algorithms.

研究动机与目标

• 解决在具有连续状态和动作空间的未知非线性动力系统中学习最优控制策略的挑战。
• 克服由于高维系统中“维数灾难”导致动态规划计算不可行的问题。
• 开发一种数据高效、可靠且可扩展的控制框架，避免深度强化学习中常见的样本低效性和训练不稳定性。
• 通过确保对中等程度系统噪声的鲁棒性以及可预测的训练行为，实现实际部署。
• 为无模型强化学习提供一种系统性替代方案，在保持性能的同时大幅减少训练时间与超参数调优。

提出的方法

• 首先，利用系统的黑箱仿真模型求解开环轨迹优化问题，将动力学视为已知以用于规划。
• 其次，围绕基准轨迹收集随机输入-输出扰动数据，通过系统辨识方法识别出线性时不变（LTI）系统模型。
• 利用识别出的LTI模型，围绕基准轨迹设计线性二次调节器（LQR）以实现闭环反馈控制。
• 通过在基准轨迹附近进行线性化，应用高效的基于LQR的控制综合方法，避免完整的动态规划。
• 将规划（开环）与控制（闭环）阶段解耦，以降低计算复杂度并提高训练稳定性。
• 通过最小化与真实系统的交互次数来确保数据效率，依赖仿真进行规划，仅使用有限的扰动数据进行系统辨识。

实验结果

研究问题

• RQ1 解耦方法是否能够将轨迹规划与反馈控制分离，从而在未知非线性系统中提高数据效率和训练稳定性？
• RQ2 在模型不确定条件下，D2C方法在控制代价和收敛性方面能达到多大程度的近似最优性能？
• RQ3 与最先进的深度强化学习算法（如DDPG）相比，D2C在训练时间、数据效率和鲁棒性方面表现如何？
• RQ4 系统噪声对D2C性能有何影响？其鲁棒性与无模型强化学习方法相比如何？
• RQ5 D2C框架是否可在无需系统模型先验知识的情况下扩展至更高维系统？

主要发现

• D2C实现了近似最优性能，理论证明其在噪声参数的二阶意义下为最优。
• 与DDPG相比，D2C的训练时间大幅减少——最高可达99%的缩减，且在三连杆和六连杆游泳者系统中训练速度提升3至4倍。
• 在六连杆游泳者系统中，D2C仅需9,489.3秒的训练时间，而DDPG则需88,160秒，尽管DDPG训练时间更长。
• D2C展现出更优的数据效率，即使在DDPG长时间训练后仍无法收敛的情况下，也能成功学习策略，尤其在高维系统中表现更优。
• D2C表现出可靠且可预测的训练过程，避免了DDPG及其他深度强化学习算法常见的超参数调优与不稳定性问题。
• 该方法对高达最大控制信号100%的噪声水平保持鲁棒，但性能在超过某一阈值后急剧下降，表明在高不确定性下仍需改进反馈设计。