[论文解读] Deep adaptive dynamic programming for nonaffine nonlinear optimal control problem with state constraints

Jingliang Duan, Zhengyu Liu+4 more|arXiv (Cornell University)|Nov 26, 2019

Adaptive Dynamic Programming Control参考文献 35被引用 12

一句话总结

该论文提出了一种约束型深度自适应动态规划（CDADP）算法，利用深度神经网络求解具有状态约束的非仿射非线性最优控制问题。通过将策略改进转化为约束优化问题，并结合信赖域与对偶优化，CDADP 实现了无需基函数的直接学习，具有稳定且加速的收敛性，已在路径跟踪车辆控制中得到有效验证。

ABSTRACT

This paper presents a constrained deep adaptive dynamic programming (CDADP) algorithm to solve general nonlinear optimal control problems with known dynamics. Unlike previous ADP algorithms, it can directly deal with problems with state constraints. Both the policy and value function are approximated by deep neural networks (NNs), which directly map the system state to action and value function respectively without needing to use hand-crafted basis function. The proposed algorithm considers the state constraints by transforming the policy improvement process to a constrained optimization problem. Meanwhile, a trust region constraint is added to prevent excessive policy update. We first linearize this constrained optimization problem locally into a quadratically-constrained quadratic programming problem, and then obtain the optimal update of policy network parameters by solving its dual problem. We also propose a series of recovery rules to update the policy in case the primal problem is infeasible. In addition, parallel learners are employed to explore different state spaces and then stabilize and accelerate the learning speed. The vehicle control problem in path-tracking task is used to demonstrate the effectiveness of this proposed method.

研究动机与目标

• 为解决现有自适应动态规划（ADP）方法无法直接处理的一般非线性最优控制问题中的状态约束挑战。
• 通过使用深度神经网络，消除策略和价值函数逼近中对手工设计基函数的需求。
• 通过带信赖域正则化的约束优化公式，确保策略学习过程中的约束满足。
• 通过采用并行学习器探索状态空间的不同区域，提升学习稳定性和速度。
• 在自动驾驶车辆的路径跟踪控制这一实际问题上验证该方法。

提出的方法

• 使用深度神经网络直接将系统状态映射到动作和值，实现策略和价值函数的逼近，无需基函数。
• 通过在状态变量上施加不等式约束，将策略改进步骤重新表述为带约束的优化问题，以强制执行状态约束。
• 对约束问题进行局部线性化，将其转化为二次约束二次规划（QCQP）问题。
• 通过求解QCQP问题的对偶问题，推导出最优策略更新，实现高效且稳定的参数更新。
• 引入恢复规则以处理原始优化问题不可行的情况，确保训练的鲁棒性。
• 采用并行学习器探索状态空间的不同区域，增强探索能力并加速收敛。

实验结果

研究问题

• RQ1 深度神经网络能否在具有状态约束的非仿射非线性最优控制问题中有效逼近策略和价值函数？
• RQ2 如何在不依赖基函数的前提下，将状态约束整合到自适应动态规划的策略改进过程中？
• RQ3 信赖域约束与对偶优化对策略更新的稳定性和收敛性有何影响？
• RQ4 并行学习器在约束型非线性控制设置中如何促进更快、更稳定的学习？
• RQ5 所提出的CDADP框架能否在实际控制任务（如车辆路径跟踪）中实现可靠性能？

主要发现

• CDADP算法在无需手工设计基函数的情况下，成功处理了非仿射非线性最优控制问题中的状态约束。
• 信赖域约束与对偶优化的结合确保了在复杂约束下策略更新的稳定性和可行性。
• 恢复规则有效管理了原始优化问题中的不可行性，维持了训练的连续性。
• 并行学习器通过促进状态空间的多样化探索，显著提升了学习速度和稳定性。
• 该方法在路径跟踪控制任务中表现出色，证实了其在实际车辆控制应用中的有效性。