[论文解读] Instantaneous Control of Brownian Motion with a Positive Lead Time

Zhen Xu, Jiheng Zhang+1 more|arXiv (Cornell University)|Aug 4, 2016

Stochastic processes and financial applications参考文献 16被引用 3

一句话总结

本文提出了一种新颖的框架，用于对布朗运动实现即时控制，其中向上调整具有正的提前期，通过将$L^{\natural}$-凸性扩展至函数空间，证明了最优策略为状态相关的双向反射，该策略以最小化调整量将库存保持在有界区域内，从而解决了随机控制中功能性状态空间长期存在的挑战。

ABSTRACT

Consider a storage system where the content is driven by a Brownian motion absent control. At any time, one may increase or decrease the content at a cost proportional to the amount of adjustment. A decrease of the content takes effect immediately, while an increase is realized after a fixed lead time $\lt$. Holding costs are incurred continuously over time and are a convex function of the content. The objective is to find a control policy that minimizes the expected present value of the total costs. Due to the positive lead time for upward adjustments, one needs to keep track of all the outstanding upward adjustments as well as the actual content at time $t$ as there may also be downward adjustments during $[t,t+\lt)$, i.e., the state of the system is a function on $[0,\ell]$. To the best of our knowledge, this is the first paper to study instantaneous control of stochastic systems in such a functional setting. We first extend the concept of $L^ atural$-convexity to function spaces and establish the $L^ atural$-convexity of the optimal cost function. We then derive various properties of the cost function and identify the structure of the optimal policy as a state-dependent two-sided reflection mapping making the minimum amount of adjustment necessary to keep the system states within a certain region.

研究动机与目标

• 解决在向上调整具有正提前期而向下调整为即时的布朗运动存储系统中的最优控制挑战。
• 将$L^{\natural}$-凸性从有限维空间扩展至函数空间，以支持对具有无限维状态的系统进行分析。
• 将最优控制策略表征为一种状态相关的双向反射，通过最小化调整量防止系统进入高成本区域。
• 建立严格的数学框架以求解具有功能性状态空间的随机控制问题，克服传统方法的局限性。

提出的方法

• 通过证明最优成本函数是周期审查系统成本的极限，将$L^{\natural}$-凸性扩展至函数空间。
• 基于调整时机和幅度的最优性条件，推导出启发式的汉密尔顿-雅可比-贝尔曼（HJB）方程。
• 利用$L^{\natural}$-凸性识别状态空间中需要向上或向下调整的两个不同区域。
• 构建一种状态相关的双向反射策略，仅进行最小必要调整以将系统状态保持在安全区域内。
• 通过建立关键性质（单调性、利普希茨连续性及互补性）证明策略的最优性。
• 将具有不对称提前期的一般情况转化为向下提前期为零的等价问题，从而降低复杂度。

实验结果

研究问题

• RQ1 如何将$L^{\natural}$-凸性扩展至函数空间，以分析具有无限维状态的随机控制问题？
• RQ2 当向上调整具有正提前期而向下调整为即时时，最优控制策略的结构是什么？
• RQ3 在具有此类提前期不对称性的函数状态空间设置下，能否证明双向反射策略是最优的？
• RQ4 在具有延迟控制的布朗运动背景下，$L^{\natural}$-凸性下最优成本函数的行为如何？
• RQ5 具有向上和向下调整均正提前期的一般情况，能否简化为一个方向提前期为零的更简单问题？

主要发现

• 最优成本函数在系统状态的函数空间中是$L^{\natural}$-凸的，从而支持对最优策略的结构性分析。
• 最优控制策略是一种状态相关的双向反射，通过最小必要调整将系统状态保持在有界区域内。
• 该策略的最优性源于由$L^{\natural}$-凸性导出的单调性、利普希茨连续性及互补性等关键性质。
• 具有不对称提前期的问题可转化为等价问题，其中向下提前期为零，且最优性仅受成本常数偏移的影响。
• 原系统与变换后系统之间的成本差为一个常数，仅依赖于初始状态和向下提前期。
• 本文是首篇解决函数状态空间中即时控制问题的论文，为复杂随机控制系统的分析提供了新方法。