[論文レビュー] Instantaneous Control of Brownian Motion with a Positive Lead Time

Zhen Xu, Jiheng Zhang+1 more|arXiv (Cornell University)|Aug 4, 2016

Stochastic processes and financial applications参考文献 16被引用数 3

ひとこと要約

本稿は、上行の調整に正のリードタイムを伴うブラウン運動の即時制御のための新しいフレームワークを導入し、$L^{\natural}$-凸性を関数空間へと拡張することで、最適方策が在庫を有界領域内に保つために最小限の調整を実行する状態依存の二重反射であることを証明した。これは、関数的状態空間を有する確率的制御における長年の課題を解決するものである。

ABSTRACT

Consider a storage system where the content is driven by a Brownian motion absent control. At any time, one may increase or decrease the content at a cost proportional to the amount of adjustment. A decrease of the content takes effect immediately, while an increase is realized after a fixed lead time $\lt$. Holding costs are incurred continuously over time and are a convex function of the content. The objective is to find a control policy that minimizes the expected present value of the total costs. Due to the positive lead time for upward adjustments, one needs to keep track of all the outstanding upward adjustments as well as the actual content at time $t$ as there may also be downward adjustments during $[t,t+\lt)$, i.e., the state of the system is a function on $[0,\ell]$. To the best of our knowledge, this is the first paper to study instantaneous control of stochastic systems in such a functional setting. We first extend the concept of $L^ atural$-convexity to function spaces and establish the $L^ atural$-convexity of the optimal cost function. We then derive various properties of the cost function and identify the structure of the optimal policy as a state-dependent two-sided reflection mapping making the minimum amount of adjustment necessary to keep the system states within a certain region.

研究の動機と目的

• 上行の調整に正のリードタイムを伴うが、下行の調整は即時であるブラウンストレージシステムにおける最適制御の課題に取り組む。
• 有限次元空間からの$L^{\natural}$-凸性の概念を関数空間へと拡張し、無限次元状態を有する系の分析を可能にする。
• 最適制御方策を、コストが高くなる領域への進入を防ぐために最小限の調整を実行する状態依存の二重反射として特徴付ける。
• 関数的状態空間を有する確率的制御問題を解くための厳密な数学的枠組みを確立し、従来の手法の制限を克服する。

提案手法

• 周期的レビュー系からのコストの極限として最適コスト関数が$L^{\natural}$-凸性を関数空間に拡張することを示すことにより、$L^{\natural}$-凸性を関数空間へと拡張する。
• 調整のタイミングと大きさに関する最適性条件に基づき、ヒューリスティックなハミルトニアン・ジャコビ・ベルマン（HJB）方程式を導出する。
• $L^{\natural}$-凸性を用いて、上行または下行の調整が必要となる状態空間内の二つの異なる領域を特定する。
• システム状態を安全領域内に保つために必要な最小限の調整を実行する状態依存の二重反射方策を構築する。
• 単調性、リプシッツ連続性、および補完性の主な性質を確立することで、方策の最適性を証明する。
• 非対称なリードタイムを有する一般ケースを、下行リードタイムがゼロとなる等価問題に変換し、複雑さを低減する。

実験結果

リサーチクエスチョン

• RQ1 無限次元状態を有する確率的制御問題を分析するために、$L^{\natural}$-凸性を関数空間へとどのように拡張できるか。
• RQ2 上行の調整に正のリードタイムを伴い、下行の調整が即時である場合、最適制御方策の構造はどのようなものか。
• RQ3 このようなリードタイムの非対称性を有する関数的状態空間設定において、二重反射方策が最適であることを証明できるか。
• RQ4 遅延制御を伴うブラウン運動の文脈において、$L^{\natural}$-凸性の下で最適コスト関数はどのように振る舞うか。
• RQ5 上行および下行の両方の調整に正のリードタイムを伴う一般ケースは、一方の方向にゼロリードタイムを伴うより単純な問題に還元可能か。

主な発見

• 最適コスト関数は、システム状態の関数空間において$L^{\natural}$-凸性を有しており、最適方策の構造的解析を可能にする。
• 最適制御方策は、システム状態を有界領域内に保つために最小限の調整を実行する状態依存の二重反射である。
• 単調性、リプシッツ連続性、および補完性の性質が$L^{\natural}$-凸性から導出され、これが方策の最適性を保証する。
• 非対称なリードタイムを伴う問題は、下行リードタイムがゼロとなる等価問題に変換可能であり、最適性はコストの定数シフトを除いて保存される。
• 元のシステムと変換後のシステムとの間のコスト差は、初期状態および下行リードタイムにのみ依存する定数である。
• 本稿は、関数的状態空間における即時制御問題を解いた最初の論文であり、複雑な確率的制御系に対する新しい手法を提供する。