[论文解读] Extended Applicability of the Symplectic Pontryagin Method

Mattias Sandberg|ArXiv.org|Jan 29, 2009

Matrix Theory and Algorithms参考文献 7被引用 3

一句话总结

本文通过在较弱假设下证明存在性与收敛性，扩展了用于求解最优控制问题的辛Pontryagin方法，消除了对对偶变量梯度有界的先验假设。该方法实现了 $\delta + \Delta t$ 阶的误差界，使得正则化与时间离散化可独立优化而不会导致误差恶化。

ABSTRACT

The Symplectic Pontryagin method was introduced in a previous paper. This work shows that this method is applicable under less restrictive assumptions. Existence of solutions to the Symplectic Pontryagin scheme are shown to exist without the previous assumption on a bounded gradient of the discrete dual variable. The convergence proof uses the representation of solutions to a Hamilton-Jacobi-Bellman equation as the value function of an associated variation problem.

研究动机与目标

• 在早前研究更弱的条件下，建立辛Pontryagin格式解的存在性。
• 消除对离散对偶变量梯度有界的先前假设。
• 将误差估计从 $\delta + \Delta t + \Delta t^2/\delta$ 改进为 $\delta + \Delta t$，从而实现 $\delta$ 与 $\Delta t$ 的独立优化。
• 基于解作为变分问题最小化器的表示形式，以及值函数的拟凸性，提供收敛性证明。

提出的方法

• 使用满足 $|H^\delta - H| \leq \delta$ 的正则化哈密顿量 $H^\delta$，以确保可微性并支持数值求解。
• 对正则化哈密顿系统应用辛Euler格式，时间离散化为 $\Delta t = T/N$。
• 将哈密顿-雅可比-贝尔曼方程的解表示为涉及运行代价 $L(x,\alpha)$ 的变分问题的最小值。
• 引入带二次惩罚项的修正哈密顿量 $\tilde{H}$，以确保对偶变量 $\lambda$ 的最大化器具有紧性。
• 利用值函数 $u$ 的局部拟凸性，对离散与连续时间导数之间的差异进行有界控制。
• 通过将离散格式的值与连续变分问题进行比较，结合次微分估计与利普希茨连续性，推导误差界。

实验结果

研究问题

• RQ1 是否可以在不假设对偶变量梯度有界的前提下，证明辛Pontryagin方法存在解？
• RQ2 在放宽正则性假设的条件下，辛Pontryagin方法的最优误差界是什么？
• RQ3 当 $\Delta t$ 固定时，是否可以独立调节正则化参数 $\delta$ 而不降低收敛性？
• RQ4 将值函数表示为变分问题最小化器的形式，如何支持收敛性分析？
• RQ5 值函数的拟凸性在控制离散解与连续解之间误差方面起到什么作用？

主要发现

• 辛Pontryagin格式的解存在于更广泛的哈密顿量类中，且无需对偶变量梯度有界。
• 误差界被确立为 $\delta + \Delta t$，优于先前的 $\delta + \Delta t + \Delta t^2/\delta$。
• 当 $\Delta t$ 固定时，$\delta$ 与 $\Delta t$ 可独立选择，且误差不会因 $\delta$ 减小而恶化。
• 通过将值函数表示为变分问题最小化器，证明了方法的收敛性，且离散格式逼近该最小值。
• 使用惩罚哈密顿量 $\tilde{H}$ 确保了对偶变量中最大化器的紧性，从而实现了对 $\lambda^*$ 的一致有界性。
• 导出了 $\bar{u}(x_0,0) - u(x_0,0)$ 的下界为 $-\frac{1}{2}C_1C_2(C_3+1)e^{C_2T}T\Delta t$，证实了 $\Delta t$ 的线性收敛性。