[论文解读] Local turnpike analysis using local dissipativity for discrete time discounted optimal control

Lars Grüne, Lisa Krügel|arXiv (Cornell University)|Jan 27, 2021

Economic theories and models参考文献 23被引用 8

一句话总结

本文提出了一种针对离散时间折扣最优控制问题的局部耗散性框架，用于分析局部最优平衡点附近的局部展平行为。通过定义局部严格耗散性并推导出折扣因子的阈值 β₁ 和 β₂，作者表明当 β ∈ [β₁, β₂] 时，最优轨迹会收敛至局部平衡点，且当折扣因子位于此区间内时，收敛性得到保证，即使由于折扣效应存在多个平衡点也成立。

ABSTRACT

Recent results in the literature have provided connections between the so-called turnpike property, near optimality of closed-loop solutions, and strict dissipativity. Motivated by applications in economics, optimal control problems with discounted stage cost are of great interest. In contrast to non-discounted optimal control problems, it is more likely that several asymptotically stable optimal equilibria coexist. Due to the discounting and transition cost from a local to the global equilibrium, it may be more favourable staying in a local equilibrium than moving to the global - cheaper - equilibrium. In the literature, strict dissipativity was shown to provide criteria for global asymptotic stability of optimal equilibria and turnpike behavior. In this paper, we propose a local notion of discounted strict dissipativity and a local turnpike property, both depending on the discount factor. Using these concepts, we investigate the local behaviour of (near-)optimal trajectories and develop conditions on the discount factor to ensure convergence to a local asymptotically stable optimal equilibrium.

研究动机与目标

• 本文旨在解决折扣最优控制中的局部收敛性挑战，其中由于折扣效应，可能存在多个局部稳定的平衡点。
• 研究最优轨迹收敛至局部渐近稳定的最优平衡点的条件，而非被吸引至全局更便宜但更难到达的平衡点。
• 目标是通过局部化的严格耗散性版本建立局部展平性质，该方法针对折扣因子进行定制。
• 本研究旨在提供一个将局部耗散性与局部展平行为相联系的框架，将全局结果推广至局部设置。

提出的方法

• 作者定义了折扣严格耗散性的局部概念，要求存在一个局部存储函数 λ(x)，使得在平衡点邻域内满足 ℓ(x,u) + λ(x) − βλ(f(x,u)) ≥ 0。
• 他们引入了两个阈值 β₁ 和 β₂，分别基于局部动力学和价值函数增长特性推导得出，使得当 β ∈ [β₁, β₂] 时，靠近局部平衡点的轨迹将保持在其附近并收敛至该点。
• 利用动态规划原理，将最优值函数 V∞(x) 与阶段代价及折扣未来代价相关联，从而实现对轨迹的递归分析。
• 引入不变性条件以确保轨迹保持在感兴趣的局部区域内，并证明在价值函数满足适当增长条件时该条件成立。
• 分析在离散时间下进行，利用展平形式化表达，将收敛性表述为靠近平衡点的时间长度，而不仅仅是渐近收敛。
• 通过数值示例验证理论阈值，并说明基于 β 的局部与全局平衡行为之间的过渡。

实验结果

研究问题

• RQ1 在何种条件下，局部最优平衡点会吸引折扣最优控制问题中附近的最优轨迹？
• RQ2 当存在多个平衡点时，折扣因子 β 如何影响轨迹在局部平衡点附近的稳定性和收敛行为？
• RQ3 即使全局耗散性不成立，能否使用严格耗散性的局部版本推导出局部展平性质？
• RQ4 阈值 β₁ 和 β₂ 在确定局部收敛发生的折扣因子区间中起什么作用？
• RQ5 局部与全局最优控制问题的性质如何共同决定区间 [β₁, β₂] 是否非空？

主要发现

• 本文建立：当折扣因子 β ∈ [β₁, β₂] 时，从局部渐近稳定平衡点附近出发的最优轨迹将收敛至该点，其中 β₁ 和 β₂ 分别由局部和全局性质决定。
• 阈值 β₁ 仅依赖于局部动力学和局部存储函数，确保当 β ≥ β₁ 时收敛至局部平衡点。
• 阈值 β₂ 依赖于最优值函数在局部平衡点以外的行为，确保当 β ≤ β₂ 时轨迹保持在平衡点附近。
• 当 β₁ ≤ β₂ 时，区间 [β₁, β₂] 非空，且可保证局部展平行为：轨迹在局部平衡点附近停留可量化的时间。
• 数值结果表明，当 β < β₂ 时，轨迹可能偏离局部平衡点并收敛至全局平衡点，尤其在转换成本较高时更为明显。
• 该方法对非凸阶段代价具有鲁棒性，如示例 7.3 所示，即使阶段代价在 x 上严格为凹函数，严格耗散性依然成立。