[论文解读] Data-based approximate policy iteration for nonlinear continuous-time optimal control design

Biao Luo, Huai‐Ning Wu+2 more|arXiv (Cornell University)|Nov 2, 2013

Adaptive Dynamic Programming Control参考文献 47被引用 5

一句话总结

本文提出了一种基于数据的近似策略迭代（API）方法，用于非线性连续时间最优控制，无需系统模型。该方法利用演员-评论家神经网络和最小二乘加权残差法，直接从实际系统数据中学习哈密顿-雅可比-贝尔曼方程的解和最优控制策略，在无约束和输入约束场景下均实现了收敛与有效控制，已在具有严格输入限制的非线性基准系统上得到验证。

ABSTRACT

This paper addresses the model-free nonlinear optimal problem with generalized cost functional, and a data-based reinforcement learning technique is developed. It is known that the nonlinear optimal control problem relies on the solution of the Hamilton-Jacobi-Bellman (HJB) equation, which is a nonlinear partial differential equation that is generally impossible to be solved analytically. Even worse, most of practical systems are too complicated to establish their accurate mathematical model. To overcome these difficulties, we propose a data-based approximate policy iteration (API) method by using real system data rather than system model. Firstly, a model-free policy iteration algorithm is derived for constrained optimal control problem and its convergence is proved, which can learn the solution of HJB equation and optimal control policy without requiring any knowledge of system mathematical model. The implementation of the algorithm is based on the thought of actor-critic structure, where actor and critic neural networks (NNs) are employed to approximate the control policy and cost function, respectively. To update the weights of actor and critic NNs, a least-square approach is developed based on the method of weighted residuals. The whole data-based API method includes two parts, where the first part is implemented online to collect real system information, and the second part is conducting offline policy iteration to learn the solution of HJB equation and the control policy. Then, the data-based API algorithm is simplified for solving unconstrained optimal control problem of nonlinear and linear systems. Finally, we test the efficiency of the data-based API control design method on a simple nonlinear system, and further apply it to a rotational/translational actuator system. The simulation results demonstrate the effectiveness of the proposed method.

研究动机与目标

• 解决在缺乏精确系统模型时非线性连续时间最优控制的挑战。
• 开发一种无需模型的强化学习方法，直接从系统数据中学习最优控制策略。
• 在输入约束下，通过神经网络逼近确保策略迭代算法的收敛性。
• 在具有输入饱和特性的复杂旋转/平移执行器（RTAC）基准系统上，验证方法在简单非线性系统和复杂系统中的有效性。
• 提供一种实用的、基于数据的替代方案，以取代传统依赖模型的最优控制设计方法。

提出的方法

• 开发了一种基于数据的近似策略迭代（API）算法，分为两个阶段：在线数据采集和离线策略迭代。
• 采用演员-评论家神经网络结构，其中评论家用于逼近代价到目标函数，演员用于逼近控制策略。
• 采用基于加权残差法的最小二乘法更新神经网络权重，无需系统动力学信息。
• 通过实际系统轨迹迭代求解广义哈密顿-雅可比-贝尔曼（GHJB）方程，避免对非线性PDE进行解析求解。
• 通过控制输入的非线性变换处理输入约束，利用双曲正切函数实现边界约束。
• 在所提出的基于数据的框架下，理论上证明了算法的收敛性。

实验结果

研究问题

• RQ1 无模型的策略迭代方法能否有效解决非线性连续时间最优控制问题，且无需系统模型？
• RQ2 如何利用神经网络将输入约束整合到基于数据的最优控制设计中？
• RQ3 所提出的基于数据的API方法是否仅使用真实系统数据即可收敛到最优解？
• RQ4 该方法在控制具有输入饱和特性的复杂非线性系统（如RTAC基准系统）时效果如何？
• RQ5 最小二乘加权残差方法能否在无系统动力学信息的情况下准确更新神经网络权重？

主要发现

• 基于数据的API算法成功地仅使用真实系统数据，即收敛到无约束和约束非线性系统的最优解。
• 对于具有输入约束 |u| ≤ 0.2 的RTAC系统，最终控制策略满足约束条件，控制输入在整个仿真过程中始终处于边界内。
• 随着时变增加，代价函数 J(t) 收敛至 0.6781，表明在所学策略下实现了有效的最优性能。
• 评论家和演员神经网络权重向量的范数分别收敛至 8.1462 和 31.7143，表明学习过程稳定。
• 如图15至图18所示，前六个代表性评论家和演员神经网络权重随迭代过程收敛，证实了学习的进展。
• 该方法在简单非线性系统和复杂的RTAC基准系统上均表现出优异性能，验证了其实际适用性。