[论文解读] A monotonic method for solving nonlinear optimal control problems

Julien Salomon, Gabriel Turinici|arXiv (Cornell University)|Jun 18, 2009

Advanced Optimization Algorithms Research参考文献 48被引用 3

一句话总结

本文提出了一种统一的单调算法，用于求解具有状态凹依赖性的非线性最优控制问题，证明了确保代价泛函单调下降的非线性演化方程解的存在性。该方法推广了量子与抛物型控制中的先前方法，提供了一种构造性、适定的求解过程，在非凸设置下其收敛速度优于梯度方法。

ABSTRACT

Initially introduced in the framework of quantum control, the so-called "monotonic algorithms" have demonstrated excellent numerical performance when dealing with bilinear optimal control problems. This paper presents a unified formulation that can be applied to more nonlinear settings compatible with the hypothesis detailed below. In this framework, we show that the well-posedness of the general algorithm is related to a nonlinear evolution equation. We prove the existence of the solution to this equation and give important properties of the optimal control functional. Finally we show how the algorithm works for selected models from the literature and compare it with the gradient algorithm.

研究动机与目标

• 将量子控制与抛物型控制中使用的不同单调算法统一到一个单一的理论框架中。
• 通过证明非线性演化方程解的存在性，建立单调算法的适定性。
• 将单调方法的适用范围从双线性和二次设置扩展到具有凹状态依赖性的通用非线性控制。
• 提供一种构造性过程，用于计算每次迭代的控制更新，确保代价泛函的单调下降。
• 通过在代表性模型上与基于梯度的算法进行数值比较，展示该方法的效率。

提出的方法

• 该算法构造一个控制序列 $v^k$，使得 $J(v^{k+1}) \leq J(v^k)$，通过设计确保代价的单调降低。
• 算法的适定性与从最优性条件导出的非线性演化方程的求解相关联。
• 在代价泛函关于状态具有凹依赖性的假设下，严格证明了该演化方程解的存在性。
• 该方法采用涉及 Fréchet 导数和伴随状态 $Y$ 的变分形式，导出控制增量 $v'$ 的非线性方程。
• 提供了一种构造性过程，通过求解非线性方程 $\Delta(v', v; t, X, Y) = -\theta(v' - v)$，从 $v^k$ 计算 $v^{k+1}$。
• 数值近似基于构造性证明，使得该方法可在任意非线性 $A(t,v)$ 的模型上实现，只要满足凹性条件即可。

实验结果

研究问题

• RQ1 能否为跨多种非线性最优控制问题的单调算法建立统一的理论框架？
• RQ2 当 $A(t,v)$ 关于 $v$ 非线性且 $J$ 关于状态为凹函数时，单调算法在何种条件下仍保持适定性？
• RQ3 在一般非线性设置下，能否构造性地证明存在控制更新 $v^{k+1}$，使得 $J(v^{k+1}) \leq J(v^k)$？
• RQ4 在非凸控制问题中，该单调算法与基于梯度的方法相比，在收敛速度和鲁棒性方面表现如何？
• RQ5 在所提出的框架下，最优控制泛函的结构性质是什么？

主要发现

• 该单调算法被证明对一大类具有代价泛函关于状态凹依赖性的非线性最优控制问题具有适定性。
• 在给定假设下，控制更新所服从的非线性演化方程存在解，从而支持构造性数值方法的实现。
• 该算法在每次迭代中确保代价泛函的单调下降，且无需线搜索或额外计算开销。
• 数值结果表明，该单调算法在渐近收敛速度上优于梯度方法，尤其在非凸设置下表现更优。
• 在控制非线性玻色-爱斯坦凝聚体的实例中，尽管初始进展较慢，该单调方法仍实现了比梯度方法更快的收敛速度。
• 该方法成功处理了矢量控制和高阶非线性，如控制中的立方依赖关系，如分子取向控制实例所示。