[論文レビュー] A Dynamic Programming Principle for Distribution-Constrained Optimal Stopping

Sigrid Källblad|arXiv (Cornell University)|Mar 24, 2017

Stochastic processes and financial applications被引用数 5

ひとこと要約

この論文は、測度値マルティンゲール（MVM）を用いて再定式化することで、分布制約付き最適停止問題に対する動的計画法の原則（DPP）を確立する。これにより、周辺制約が初期条件に変換される。主な貢献は、一般の確率測度およびコスト関数の下で、このクラスの確率的制御問題に対するDPPを証明することであり、コスト関数やフィルトレーションの構造的仮定なしに、頑健な動的計画法的手法を可能にする。

ABSTRACT

We consider an optimal stopping problem where a constraint is placed on the distribution of the stopping time. Reformulating the problem in terms of so-called measure-valued martingales allows us to transform the marginal constraint into an initial condition and view the problem as a stochastic control problem; we establish the corresponding dynamic programming principle.

研究の動機と目的

• 停止時刻が (0,∞) 上の事前指定された確率測度 μ に従う最適停止問題に対処すること。
• 測度値マルティンゲール（MVM）を導入することで、分布制約付き問題を確率的制御問題に再定式化すること。
• MVMプロセスにおける初期条件として周辺制約を変換することにより、動的計画法の解析を可能にすること。
• コスト関数の一般な正則性条件および μ やフィルトレーションの特定構造の仮定なしに、この再定式化された問題に対する動的計画法の原則（DPP）を確立すること。
• 強い定式化や原子的制約に依存する先行研究を統一的かつ拡張的に扱うフレームワークを提供すること。

提案手法

• 各停止時刻 τ をその条件付き分布過程 ξ_t = L(τ | F_t) に同一視することで、分布制約 μ を有する最適停止問題を再定式化し、測度値マルティンゲール（MVM）を構成する。
• 初期条件 ξ_0 = μ を満たし、停止時刻構造に由来する適応性およびマルティンゲール性を満たすMVMの集合を同定する。
• パスが ℝ₊ から ℝ₊ 上の確率測度の空間への連続関数である、標準的パス空間上で弱い定式化を採用する。この空間には第一 Wasserstein 位相が導入される。
• 初期条件および力学的性質を満たすMVMの集合の解析的性質、合成に関する安定性、および分解性を証明する。
• 可測選択定理（Jankov–von Neumann）を適用して、値関数に対する動的計画法の原則を確立する。
• 疑似マルコフ性およびMVMの合成によるパスワイズ構成を用いてDPPを検証し、可測選択子による ε-近似制御の構築を含む。

実験結果

リサーチクエスチョン

• RQ1 停止時刻の周辺分布制約の下で、最適停止問題に対する動的計画法の原則を確立できるか？
• RQ2 周辺制約 μ を測度値マルティンゲールを介して確率的制御枠組みに埋め込む方法は何か？
• RQ3 一般のコスト関数および (0,∞) 上の任意の確率測度 μ に対して、DPPは成り立つか？特に原子的または離散的構造の仮定なしに成り立つか？
• RQ4 MVMによる弱い定式化は、強い定式化アプローチからの結果をどの程度回復または一般化するか？
• RQ5 標準的パス空間および可測選択技術を用いて、この制約付き設定でDPPを厳密に導出できるか？

主な発見

• 測度値マルティンゲール（MVM）に再定式化した分布制約付き最適停止問題に対して、動的計画法の原則（DPP）が成立する。
• 周辺制約 μ はMVMプロセスにおける初期条件 ξ_0 = μ に変換され、確率的制御定式化が可能になる。
• 証明は、可測選択による ε-近似制御の構築に依拠しており、弱い正則性条件の下で値関数がDPPを満たすことを保証する。
• パスに依存しない条件を必要とせず、c(ω,t) = c(ω·∧t,t) を満たす一般のコスト関数 c(ω,t) に対しても適用可能である。
• 先行研究（例：BayraktarとMiller [3]）を回復・拡張するフレームワークであり、そのコスト関数クラスにおいて強い定式化と弱い定式化が同値であることを示している。
• DPPはMVMの安定性、解析的性質、および分解性に基づき確立され、主な技術的ステップは疑似マルコフ性および合成不変性の検証である。