[论文解读] A Non Convex Singular Stochastic Control Problem and its Related Optimal Stopping Boundaries

Tiziano De Angelis, Giorgio Ferrari+1 more|arXiv (Cornell University)|May 10, 2014

Stochastic processes and financial applications参考文献 37被引用 28

一句话总结

本文研究了一个非凸无限时域奇异随机控制问题，该问题建模了具有随机价格的电力储能，其中最优控制策略同时包含反射边界和排斥边界。文章建立了此类非凸问题与最优停止之间的新联系，表明值函数满足具有光滑匹配条件的自由边界问题，且最优控制具有单调跟随者结合自主停止特征的形式。

ABSTRACT

Equivalences are known between problems of singular stochastic control (SSC) with convex performance criteria and related questions of optimal stopping, see for example Karatzas and Shreve [SIAM J. Control Optim. 22 (1984)]. The aim of this paper is to investigate how far connections of this type generalise to a non convex problem of purchasing electricity. Where the classical equivalence breaks down we provide alternative connections to optimal stopping problems. We consider a non convex infinite time horizon SSC problem whose state consists of an uncontrolled diffusion representing a real-valued commodity price, and a controlled increasing bounded process representing an inventory. We analyse the geometry of the action and inaction regions by characterising their (optimal) boundaries. Unlike the case of convex SSC problems we find that the optimal boundaries may be both reflecting and repelling and it is natural to interpret the problem as one of SSC with discretionary stopping.

研究动机与目标

• 分析一个源于具有负价格的电力储能的非凸奇异随机控制问题。
• 研究在非凸设定下，经典奇异控制与最优停止之间的凸性等价关系的失效机制。
• 刻画动作区域与非动作区域的几何结构，包括同时具有反射与排斥特性的最优边界。
• 通过自由边界问题与光滑匹配条件，建立非凸奇异控制与最优停止之间的新联系。
• 为具有有限燃料、不可逆投资的库存受限且价格过程均值回归的有限库存问题提供解决方案框架。

提出的方法

• 构建一个二维奇异控制问题，其中状态过程为 $X_t$（均值回归的Ornstein-Uhlenbeck过程），受控库存为 $C_t = c + \nu_t$。
• 利用汉密尔顿-雅可比-贝尔曼（HJB）方程推导最优性必要条件，包括光滑匹配条件与自由边界条件。
• 将值函数 $U(x,c)$ 定义为包含运行成本与控制成本的期望成本泛函的下确界。
• 通过基于价格过程运行下确界的单调跟随者策略刻画最优控制 $\nu^*$。
• 通过验证论证（利用一致可积性与极限方法）建立奇异控制问题与最优停止问题之间的等价性。
• 应用光滑粘贴技术验证候选值函数满足HJB方程与边界条件。

实验结果

研究问题

• RQ1 在非凸设定下，经典奇异控制与最优停止之间的联系为何失效？可建立何种替代关联？
• RQ2 在具有库存上限的非凸奇异控制问题中，动作区域与非动作区域的几何结构如何？
• RQ3 当性能准则为非凸时，最优控制策略是否可表征为带有自主停止特征的单调跟随者策略？
• RQ4 反射边界与排斥边界在非凸问题的最优控制策略中起何种作用？
• RQ5 负电价的存在如何影响最优控制与值函数的结构？

主要发现

• 动作区域与非动作区域的最优边界同时具有反射与排斥特性，表明存在一种结合奇异控制与自主停止特征的混合控制策略。
• 值函数 $U(x,c)$ 满足具有光滑匹配条件的自由边界问题，且在最优边界 $\beta_*(c)$ 处满足 $C^1$ 正则性。
• 最优控制 $\nu^*$ 的形式为 $\nu_t^* = \left[ g_*(\inf_{s \leq t} X_s) - c \right]^+$，其中 $g_*$ 是映射到 $[0,1]$ 的递减函数，表明其为单调跟随者策略。
• 通过验证论证，该问题与最优停止问题等价，奇异控制问题的值函数等于所有停止时间中期望贴现收益的上确界。
• 最优边界 $\beta_*(c)$ 满足 $\beta_*(c) < \hat{x}_0(c)$，其中 $\hat{x}_0(c)$ 是某一辅助方程的解，确保光滑匹配条件的有效性。
• 值函数有界且一致可积，使得在验证过程中可使用极限方法，从而确认候选解的最优性。