[论文解读] On the existence of a limit value in some non expansive optimal control problems

Marc Quincampoix, Jérôme Renault|Toulouse 1 Capitole Publications (Université Toulouse I Capitole)|Apr 23, 2009

Optimization and Variational Analysis参考文献 3被引用 5

一句话总结

本文在非扩张类条件下，建立了无限时域最优控制问题中极限值的存在性，即使该极限依赖于初始状态。通过引入一致值概念并采用递归控制拼接方法，作者证明了有限时域下的近似最优控制在长期中依然有效，推广了以往需要耗散性或不变性假设的结果。

ABSTRACT

We investigate a limit value of an optimal control problem when the horizon converges to infinity. For this aim, we suppose suitable nonexpansive-like assumptions which does not imply that the limit is independent of the initial state as it is usually done in the literature.

研究动机与目标

• 建立无限时域最优控制问题的值函数收敛于依赖于初始状态的极限值的条件。
• 将一致值概念推广至非扩张系统，其中极限不必然独立于初始条件。
• 在不需强制性或耗散性条件的情况下，提供极限值存在的普遍结果。
• 证明有限时域下的近似最优控制在长期中仍保持近似最优，即使极限依赖于初始状态。
• 通过新颖的递归控制构造方法，将先前关于遍历控制与哈密顿-雅可比方程的结果推广至非强制、非耗散的设定。

提出的方法

• 在动力学上引入非扩张条件：对所有 $ y_1, y_2 $ 属于前向不变的紧集 $ N $，有 $ \sup_{u\in U}\inf_{v\in U}\langle y_1 - y_2, g(y_1,u) - g(y_2,v) \rangle \leq 0 $。
• 采用递归控制拼接方法：通过在长度为 $ m_i $ 和 $ n_i $ 的区间内拼接控制序列 $ u^i $ 构造控制 $ u $，其中 $ n_i \gg m_{i+1} $。
• 使用类李雅普诺夫论证，证明每个 $ n_i $-区间结束时的值至多减少 $ \alpha / 2^i $，从而确保值函数收敛。
• 应用错位求和论证，界定长时间平均成本，表明 $ \gamma_T(z,u) \leq v^* + 2\alpha + m_1/T $，当 $ T \to \infty $ 时趋于 $ v^* + 2\alpha $。
• 通过证明对任意 $ \varepsilon > 0 $，存在一个控制在所有足够大的 $ t $ 时均为 $ \varepsilon $-最优，从而证明一致值的存在性。
• 依赖可测选择与紧致性论证，确保在每个阶段均存在满足所需成本边界的控制。

实验结果

研究问题

• RQ1 在何种条件下，最优控制问题的无限时域平均成本会收敛至依赖于初始状态的极限？
• RQ2 在极限不独立于初始条件的非扩张系统中，一致值是否可能存在？
• RQ3 是否可以构造一种单一控制策略，使其在所有大时间尺度上均近似最优，即使极限值依赖于初始状态？
• RQ4 在非强制动力学下，如何确保有限时域问题的近似最优控制在长期中依然有效？
• RQ5 对动力学与代价函数的何种结构性假设足以保证极限值的存在，而无需耗散性条件？

主要发现

• 在非扩张条件 $ \sup_{u,v} \langle y_1 - y_2, g(y_1,u) - g(y_2,v) \rangle \leq 0 $ 下，对所有 $ y_0 $，极限值 $ V(y_0) = \lim_{t \to \infty} V_t(y_0) $ 存在，且该条件定义于前向不变的紧集上。
• 一致值存在：对任意 $ \varepsilon > 0 $，存在控制 $ u $ 和时间 $ t_0 $，使得对所有 $ t \geq t_0 $，平均成本与极限值 $ V(y_0) $ 的偏差在 $ \varepsilon $ 以内。
• 极限值的存在性不依赖于哈密顿量的强制性或系统的耗散性，因此推广了经典遍历控制设定。
• 在给定的非扩张与不变性假设下，值函数在状态空间的紧子集上一致收敛。
• 递归控制拼接确保了在 $ T $ 足够大时，平均成本被控制在 $ v^* + 2\alpha $ 以内，从而证明了向极限值的收敛。
• 该结果可推广至 $ h $ 连续且 $ g $ 满足利普希茨条件的情形，即使极限依赖于初始状态，如示例 2–4 所示。