[论文解读] Linear Programming Formulations of Singular Stochastic Control Problems: Time-Homogeneous Problems

Thomas G. Kurtz, Richard H. Stockbridge|arXiv (Cornell University)|Jul 28, 2017

Economic theories and models参考文献 11被引用 3

一句话总结

本文建立了时齐奇异随机控制问题与线性规划之间的等价性，该线性规划基于表示状态过程与控制过程期望占用时间的测度，适用于长期平均与折扣准则。主要贡献在于对最优松弛控制以反馈形式进行了严格表征，并在控制集满足闭包与紧致性条件时证明了严格控制的存在性。

ABSTRACT

Conditions are established under which the optimal control of processes having both absolutely continuous and singular (with respect to time) controls are equivalent to linear programs over a space of measures on the state and control spaces. This paper considers long-term average and discounted criteria and includes budget and resource constraints. The linear programs optimize over measures representing the expected occupation measure of the state and absolutely continuous control processes and a similar expected occupation measure of the state and control when the singular action of the process occurs. The evolution of these processes is characterized through an adjoint equation which the measures must satisfy in relation to the absolutely continuous and singular generators of the process. Existence of optimal relaxed controls of feedback type are established in general while existence of an optimal form of strict control is proven under additional closedness and compactness conditions.

研究动机与目标

• 建立奇异随机控制问题与表示状态和控制过程期望占用的测度上的线性规划之间的等价性。
• 将线性规划公式扩展至时齐动力学下的奇异控制。
• 在控制集满足闭包与紧致性条件时，证明最优严格控制的存在性。
• 将预算与资源约束纳入线性规划框架。
• 对长期平均与折扣准则，表征最优反馈控制。

提出的方法

• 通过生成元 A（绝对连续部分）与 B（奇异部分）作用于 C²_c(ℝ) 中的测试函数，将控制问题表述为一个奇异的、受控的局部鞅问题。
• 定义两个占用测度：μ₀ 表示状态过程，μ₁ 表示奇异控制作用，两者均表示期望占用时间。
• 推导一个伴随方程，将测度 μ₀ 与 μ₁ 与生成元 A 和 B 联系起来，以确保满足局部鞅条件。
• 构建一个线性规划问题，通过在 μ₀ 与 μ₁ 上最小化代价函数 c₀ 与 c₁，受伴随方程及测度支集与总质量约束的限制。
• 使用重标度技术（如注记 3.4 所示），将折扣问题重新表述为初始测度 ν₀ 归一化且折扣率 α 的形式。
• 应用紧致性与闭包条件，将松弛最优控制提升为严格反馈控制。

实验结果

研究问题

• RQ1 在何种条件下，奇异随机过程的最优控制等价于占用测度上的线性规划？
• RQ2 如何将预算与资源约束纳入奇异控制问题的线性规划公式中？
• RQ3 在何种条件下可确保存在最优严格控制而非仅松弛控制？
• RQ4 在时齐动力学下，最优控制能否以反馈形式表示？
• RQ5 长期平均与折扣准则如何映射为具有紧支集测度的等价线性规划？

主要发现

• 时齐奇异扩散过程的最优控制问题等价于对表示状态与奇异控制作用期望占用的测度 μ₀ 与 μ₁ 的线性规划。
• 在一般条件下（包括伴随方程约束），建立了最优松弛反馈控制的存在性。
• 在控制集 K(x) 满足闭包与凸性时，存在最优严格控制 u*，如定理 4.5 所示。
• 对于折扣问题，通过使用总质量为 1/α 的重标初始测度 ν₀，对线性规划进行了重表述，以确保代价有限。
• 在库存控制示例中，即使 c₁ 不满足下确界紧致性，最优策略仍可通过具有紧支集 μ₁ 的线性规划表征。
• 该方法推广了 Kurtz 与 Stockbridge（1998）以及 Helmes 与 Stockbridge（2007）的先前结果，将奇异控制与约束纳入框架。