[论文解读] Generalized Policy Iteration for Optimal Control in Continuous Time.

Jingliang Duan, Shengbo Eben Li+3 more|arXiv (Cornell University)|Sep 11, 2019

Adaptive Dynamic Programming Control参考文献 47被引用 16

一句话总结

本文提出深度广义策略迭代（DGPI）算法，用于已知动态的连续时间非线性系统的最优控制。通过在演员-评论家框架中使用深度神经网络，DGPI 无需初始可接受策略或输入仿射系统结构，即可迭代求解哈密顿-雅可比-贝尔曼方程，通过放宽更新条件实现更快的学习，收敛至最优控制策略。

ABSTRACT

This paper proposes the Deep Generalized Policy Iteration (DGPI) algorithm to find the infinite horizon optimal control policy for general nonlinear continuous-time systems with known dynamics. Unlike existing adaptive dynamic programming algorithms for continuous time systems, DGPI does not require the admissibility of initialized policy, and input-affine nature of controlled systems for convergence. Our algorithm employs the actor-critic architecture to approximate both policy and value functions with the purpose of iteratively solving the Hamilton-Jacobi-Bellman equation. Both the policy and value functions are approximated by deep neural networks. Given any arbitrary initial policy, the proposed DGPI algorithm can eventually converge to an admissible, and subsequently an optimal policy for an arbitrary nonlinear system. We also relax the update termination conditions of both the policy evaluation and improvement processes, which leads to a faster convergence speed than conventional Policy Iteration (PI) methods, for the same architecture of function approximators. We further prove the convergence and optimality of the algorithm with thorough Lyapunov analysis, and demonstrate its generality and efficacy using two detailed numerical examples.

研究动机与目标

• 为具有已知动态的非线性连续时间系统开发一种通用的最优控制框架。
• 消除现有自适应动态规划方法中对可接受初始策略和输入仿射系统约束的需求。
• 通过放宽策略评估与改进阶段的终止条件，加速收敛。
• 通过严格的李雅普诺夫分析，确保理论上的收敛性和最优性。
• 通过在两个复杂非线性系统上的数值验证，展示该方法的通用性与有效性。

提出的方法

• 采用演员-评论家深度神经网络架构，联合近似控制策略与价值函数。
• 使用迭代更新求解最优控制的哈密顿-雅可比-贝尔曼方程。
• 放宽策略评估与改进步骤的停止条件，以加速收敛。
• 应用基于李雅普诺夫的分析，证明迭代策略更新过程的收敛性与最优性。
• 利用深度神经网络在连续时间中表示策略与价值函数。
• 无需系统为输入仿射结构，也无需初始策略为可接受策略即可保证收敛。

实验结果

研究问题

• RQ1 深度强化学习算法是否能在一般非线性连续时间系统中实现最优控制，而无需输入仿射结构？
• RQ2 当使用非可接受策略初始化时，所提出的方法是否仍能收敛至最优策略？
• RQ3 在策略迭代中放宽更新终止条件，是否能显著提升收敛速度而不损失最优性？
• RQ4 在一般非线性动态下，该算法的收敛性与最优性是否可被严格证明？
• RQ5 与传统策略迭代方法相比，该算法在速度与精度方面表现如何？

主要发现

• DGPI 算法可收敛至任意已知动态的非线性连续时间系统的最优控制策略。
• 即使初始策略不可接受，收敛性仍可保证，克服了先前自适应动态规划方法的关键局限。
• 放宽的更新条件使收敛速度显著快于传统策略迭代，尽管使用相同的函数逼近器架构。
• 通过李雅普诺夫分析，严格证明了算法的收敛性与最优性。
• 通过两个详细的数值示例，展示了该方法强大的通用性与有效性。
• 该算法成功通过深度神经网络迭代求解哈密顿-雅可比-贝尔曼方程，且无需输入仿射系统约束。