[论文解读] Hamiltonian-Based Algorithm for Optimal Control

Matthew Hale, Y. Wardi+2 more|arXiv (Cornell University)|Mar 9, 2016

Advanced Control Systems Optimization参考文献 29被引用 10

一句话总结

本文提出了一种基于哈密顿量的最优控制算法，该算法在松弛控制空间中运行，通过哈密顿量的逐点最小化计算下降方向，无需显式计算梯度。该方法在混合系统和移动机器人网络的仿真中表现出快速收敛，仅用不到一秒的时间即达到近似全局最小值，且采用粗略的积分步长。

ABSTRACT

This paper proposes an algorithmic technique for a class of optimal control problems where it is easy to compute a pointwise minimizer of the Hamiltonian associated with every applied control. The algorithm operates in the space of relaxed controls and projects the final result into the space of ordinary controls. It is based on the descent direction from a given relaxed control towards a pointwise minimizer of the Hamiltonian. This direction comprises a form of gradient projection and for some systems, is argued to have computational advantages over direct gradient directions. The algorithm is shown to be applicable to a class of hybrid optimal control problems. The theoretical results, concerning convergence of the algorithm, are corroborated by simulation examples on switched-mode hybrid systems as well as on a problem of balancing transmission- and motion energy in a mobile robotic system.

研究动机与目标

• 开发一类最优控制问题的高效算法，其中哈密顿量的逐点最小化在计算上是可行的。
• 通过利用松弛控制和Polak的最优性函数框架，解决无限维最优控制中的收敛挑战。
• 将该算法应用于切换模式的混合系统以及移动机器人网络中的能量平衡问题。
• 通过在实际控制问题上的仿真，展示该方法相对于传统梯度方法的计算优势。

提出的方法

• 该算法在松弛控制空间中运行，松弛控制是控制集U上的概率测度，确保解的存在性与紧致性。
• 在每次迭代中，通过哈密顿量的逐点最小化计算下降方向，避免求解两点边值问题。
• 该方法使用状态方程的顺序前向积分和伴随方程（协态方程）的后向积分，以计算哈密顿量最小化器。
• 下降方向是一种梯度投影形式，据称在某些系统中相比直接梯度计算具有计算优势。
• 该算法将最终的松弛控制解投影回普通控制空间，以实现实际应用。
• 采用Polak的框架自适应选择离散化级别，以确保收敛性并应对无限维优化的挑战。

实验结果

研究问题

• RQ1 基于哈密顿量的算法结合松弛控制，是否能在最优控制问题中实现比传统梯度方法更快的收敛速度？
• RQ2 与显式梯度计算相比，哈密顿量的逐点最小化在计算效率和收敛速度方面表现如何？
• RQ3 该算法在处理具有切换动态和输入约束的混合系统方面，其适用范围有多大？
• RQ4 该算法能否在仿真中有效平衡移动机器人网络中的传输与运动能量？

主要发现

• 在Δt = 0.01时，200次迭代内成本从81,883.4降低至1,253.4，5次迭代内减少98.5%，10次迭代内减少99%。
• 在Δt = 0.1时，100次迭代仅耗时0.5645秒CPU时间，最终成本为1,260.4，非常接近明显的全局最小值1,253.4。
• 该算法仅用5次迭代即达到总成本减少的98%，表明初始阶段收敛迅速。
• 在Δt = 0.01时进行20次迭代，成本降至1,455.5，耗时0.8653秒，显示出速度与精度之间的良好权衡。
• 该方法在不同积分步长下表现出鲁棒性和高效性，即使在粗略步长下也仅造成极小的精度损失。
• 移动机器人网络的仿真结果证实了该算法在实际能量平衡问题中的适用性。