[論文レビュー] Some sensitivity results in stochastic optimal control: A Lagrange multiplier point of view

Julio Backhoff‐Veraguas, F.J.G. Silva|arXiv (Cornell University)|Apr 2, 2014

Stochastic processes and financial applications参考文献 22被引用数 3

ひとこと要約

本稿は、弱形式のポントレージン原理を通じて、確率的最適制御におけるラグランジュ乗数と随伴過程の間の厳密な関係を確立し、動的システムの無限次元摂動（確率係数や期待値型制約を含む）に対する価値関数の一次感度解析を可能にする。

ABSTRACT

In this work we provide a first order sensitivity analysis of some parameterized stochastic optimal control problems. The parameters can be given by random processes. The main tool is the one-to-one correspondence between the adjoint states appearing in a weak form of the stochastic Pontryagin principle and the Lagrange multipliers associated to the state equation.

研究の動機と目的

• 随伴過程が制約付き最適化におけるラグランジュ乗数にどのように関連するかを機能解析的枠組みで確立すること。
• 凸双対性およびラグランジュ乗数技法を、確率係数を有する非凸・非線形確率的最適制御問題へ拡張すること。
• SDEの動的係数および初期条件に対する無限次元摂動下での価値関数の一次感度解析を可能にすること。
• 弱ポントレージン乗数と状態方程式制約に関連するラグランジュ乗数との間の関係を明確化すること。
• 線形二次（LQ）および平均分散ポートフォリオ選択問題といった具体的応用にこの枠組みを適用し、一般理論から既知の明示的感度を回復すること。

提案手法

• イト過程のヒルベルト空間における制御問題を、制約付き最適化問題として定式化する。
• 完全なハミルトニアン最小化の代わりに、一次最適性条件を満たす弱ポントレージン乗数ペア (p, q) を導入する。
• λ(t) = p(0) + ∫₀ᵗ p(s)ds + ∫₀ᵗ q(s)dW(s) としてラグランジュ乗数過程を定義し、これがイト過程であり、SDE制約に対応することを示す。
• イトの公式およびマルティンゲール性を用いて、摂動に対する価値関数の微分を導出する。
• 線形二次（LQ）および平均分散ポートフォリオ選択問題にこの枠組みを適用し、明示的な感度式を導出する。
• r ≡ 0 で有界な μ, σ を持つ決定的1次元ケースにおいて、理論的結果が既知の明示的解と一致することを検証する。

実験結果

リサーチクエスチョン

• RQ1 確率的ポントレージン原理における随伴過程は、制約付き最適化枠組みにおいてどのようにラグランジュ乗数として解釈できるか？
• RQ2 弱ポントレージン乗数と状態方程式制約に関連するラグランジュ乗数との正確な関係は何か？
• RQ3 SDE係数および初期条件に対する無限次元摂動下でも、価値関数の一次感度解析は可能か？
• RQ4 導出された感度式は、平均分散ポートフォリオ選択問題における既知の明示的解とどのように一致するか？
• RQ5 イト過程上のヒルベルト空間構造が、ラグランジュ乗数がイト過程であることを保証するために果たす役割は何か？

主な発見

• 弱ポントレージン乗数 (p, q) とラグランジュ乗数 λ(t) = p(0) + ∫₀ᵗ p(s)ds + ∫₀ᵗ q(s)dW(s) の間には一対一対応が確立され、これらはいずれもイト過程である。
• 初期資産 x、目標 A、ドリフト μ、ボラティリティ σ に対する摂動に関する価値関数の微分は、Dv(P;ΔP) = E[∫₀ᵀ p(t)π(t)Δμ(t)dt] + E[∫₀ᵀ q(t)π(t)Δσ(t)dt] + p(0)[Δx − ΔA] で与えられ、明示的な式が導出されている。
• r ≡ 0 で確定的 μ, σ を持つ平均分散ポートフォリオ問題において、初期資産に対する感度は Dₓv = 2(x−A)Δx / (e^{∫Σ²ds}−1) であり、既知の価値関数の明示的微分と一致する。
• ドリフトパラメータ μ に対する感度は Dₘᵤv = −2(A−x)²e^{∫Σ²ds} / (e^{∫Σ²ds}−1)² ∫₀ᵀ (μ(t)Δμ(t))/σ(t)² dt であり、解析的微分と一致することが確認された。
• ボラティリティ σ に対する感度は Dσv = 2(A−x)²e^{∫Σ²ds} / (e^{∫Σ²ds}−1)² ∫₀ᵀ (μ(t)²Δσ(t))/σ(t)³ dt であり、明示的計算と一貫性があることが確認された。
• 理論的枠組みはLQケースにおける既知の明示的感度を回復し、本手法の正確性および一般性を検証した。