[论文解读] Lack of Equality between Abel and Cesaro Limits in Discrete Optimal Control and the Implied Duality Gap

Ilya Shvartsman|arXiv (Cornell University)|Oct 27, 2020

Optimization and Variational Analysis参考文献 15被引用 4

一句话总结

本文构建了一个具有紧致状态空间的离散时间最优控制例子，其中长期平均成本与折扣成本问题的Cesàro极限与Abel极限不同，展示了无限维线性规划（IDLP）公式中的对偶间隙。结果证实，即使在标准的紧致性与连续性假设下，最优控制导出的无限维线性规划问题也一般不满足强对偶性。

ABSTRACT

In a recent paper it has been shown that if Cesaro and Abel limits for a certain discrete time optimal control problem are not equal, then there is a duality gap between a certain infinite-dimensional linear programming problem and its dual. In this paper we construct an example of a problem satisfying the assumptions of the aforementioned paper, where Cesaro and Abel limits are different.

研究动机与目标

• 证明在标准假设下，Cesàro与Abel极限在离散时间最优控制问题中可能不同。
• 表明这种不等式意味着无限维线性规划（IDLP）及其对偶之间的对偶间隙。
• 构造一个具体例子，满足先前理论结果的条件，其中极限不相等。
• 将已知的连续时间反例扩展至具有紧致状态空间的离散时间情形。
• 验证最优控制IDLP公式中极限不等式与对偶间隙之间的理论联系。

提出的方法

• 将一个具有分段常数代价函数g(x)的连续时间无控系统改编为离散时间受控系统。
• 修改动力学以确保紧致不变状态空间Y的存在，使用一个在x ∈ [0,2]时为零、在x ≥ 3时为负的扰动项q(x)。
• 施加控制约束，使得y(t)在区间内保持恒定，从而可通过分段常数控制策略近似轨迹。
• 使用不连续代价函数g的平滑版本，以确保f与g的连续性，满足所需的正则性条件。
• 应用Tauber型论证分析平均成本与折扣成本值的渐近行为。
• 通过f、g与U(·)的一致连续性与Hausdorff连续性，建立V_T(y₀)与h_α(y₀)的连续性，确保IDLP对偶理论的适用性。

实验结果

研究问题

• RQ1 在具有紧致状态空间的离散时间最优控制问题中，Cesàro与Abel极限是否可能不相等？
• RQ2 Cesàro与Abel极限之间的不等式是否意味着相关无限维线性规划（IDLP）公式中的对偶间隙？
• RQ3 是否可以构造一个具体例子，满足先前IDLP对偶结果的假设，且极限不相等？
• RQ4 动力学与代价函数结构如何影响平均成本与折扣成本值的收敛性？
• RQ5 状态集与控制集的紧致性与连续性在这些极限的存在性与相等性中起什么作用？

主要发现

• 构建了一个离散时间最优控制系统，其中对于某些初始状态，Cesàro极限lim_{T→∞} V_T(y₀)与Abel极限lim_{α↑1} h_α(y₀)存在但不相等。
• 该例子满足文献[4]中定理4.1的所有假设，包括Y的紧致性、f与g的连续性，以及U(·)的统一Hausdorff连续性。
• Cesàro与Abel极限之间的不等式意味着原始与对偶无限维线性规划（IDLP）之间存在对偶间隙。
• 对于初始状态满足x₀ ∈ (1+ε, 2−ε)且y₀ = 0的情况，平均成本与折扣成本的最优值均收敛至零，此时保持相等。
• 该构造依赖于一个紧致不变集与经修改的动力学（含q(x)），以确保轨迹有界且系统在紧致集上演化。
• 证明表明IDLP的最优值严格小于其对偶的最优值，从而确认了对偶间隙的存在。