[論文レビュー] Linear Programming Formulations of Singular Stochastic Control Problems: Time-Homogeneous Problems

Thomas G. Kurtz, Richard H. Stockbridge|arXiv (Cornell University)|Jul 28, 2017

Economic theories and models参考文献 11被引用数 3

ひとこと要約

本稿では、長期平均基準および割引基準の下で、状態過程および制御過程の期待的滞在時間を表す測度上の線形計画法と、時間均質な特異確率的制御問題との等価性を確立する。主な貢献は、フィードバック形式での最適緩和制御の厳密な特徴付けであり、制御集合の閉性およびコンパクト性条件の下で、厳密制御の存在が証明されている。

ABSTRACT

Conditions are established under which the optimal control of processes having both absolutely continuous and singular (with respect to time) controls are equivalent to linear programs over a space of measures on the state and control spaces. This paper considers long-term average and discounted criteria and includes budget and resource constraints. The linear programs optimize over measures representing the expected occupation measure of the state and absolutely continuous control processes and a similar expected occupation measure of the state and control when the singular action of the process occurs. The evolution of these processes is characterized through an adjoint equation which the measures must satisfy in relation to the absolutely continuous and singular generators of the process. Existence of optimal relaxed controls of feedback type are established in general while existence of an optimal form of strict control is proven under additional closedness and compactness conditions.

研究の動機と目的

• 特異確率的制御問題と状態および制御の期待的滞在時間の測度上の線形計画法との等価性を確立すること。
• 時間均質な力学的条件下での特異制御に対する線形計画法の定式化を拡張すること。
• 制御集合の閉性およびコンパクト性条件の下で、最適厳密制御の存在を証明すること。
• 予算および資源制約を線形計画法フレームワークに組み込むこと。
• 長期平均および割引基準の両方における最適フィードバック制御の特徴付け

提案手法

• テスト関数が C²_c(ℝ) に属する関数に対して作用する生成子 A（絶対連続）および B（特異的）を有する、特異的かつ制御されたマルティンゲール問題として制御問題を定式化する。
• 2つの滞在測度を定義する：μ₀ は状態過程のため、μ₁ は特異的制御行動のためであり、両者とも期待滞在時間を表す。
• 生成子 A および B と測度 μ₀ および μ₁ の間の双対方程式を導出し、マルティンゲール条件を満たすように保証する。
• 測度のサポートおよび総質量に関する制約を満たすように、μ₀ および μ₁ の上でのコスト関数 c₀ および c₁ を最小化する線形計画問題を構築する。
• リスケーリング技術（注記 3.4 に類似）を用いて、初期測度 ν₀ と割引率 α を正規化した形で割引問題を再定式化する。
• コンパクト性および閉性条件を適用して、緩和最適制御を厳密なフィードバック制御に昇格させる。

実験結果

リサーチクエスチョン

• RQ1 特異確率過程の最適制御が、滞在測度上の線形計画法と等価となる条件は何か？
• RQ2 予算および資源制約を、特異制御問題の線形計画法定式化にどのように組み込むことができるか？
• RQ3 緩和制御ではなく、最適な厳密制御が存在することを保証する条件は何か？
• RQ4 時間均質な力学的条件下で、最適制御がフィードバック形式に表現可能か？
• RQ5 長期平均基準および割引基準は、コンパクトにサポートを持つ測度を用いた等価な線形計画法にどのように対応するか？

主な発見

• 時間均質な特異拡散過程の最適制御問題は、状態および特異的制御行動の期待的滞在時間を表す測度 μ₀ および μ₁ 上の線形計画法と等価である。
• 双対方程式制約を含む一般条件の下で、最適緩和フィードバック制御の存在が確立されている。
• 制御集合 K(x) が閉かつ凸である条件の下で、最適厳密制御 u* が存在することが示されており、これは定理 4.5 で示されている。
• 割引問題において、線形計画問題は、総質量が 1/α であるスケーリングされた初期測度 ν₀ を用いて再定式化され、有限コストを保証する。
• 在庫制御の例では、c₁ が下に有界でなくても、μ₁ がコンパクトにサポートを持つ線形計画問題により最適方策が特徴付けられている。
• Kurtz と Stockbridge (1998) および Helmes と Stockbridge (2007) の先行研究を一般化し、特異制御および制約を含めた。