[論文レビュー] Stochastic optimal control of delay equations arising in advertising models

Fausto Gozzi, Carlo Marinelli|ArXiv.org|Dec 20, 2004

Stochastic processes and financial applications参考文献 32被引用数 34

ひとこと要約

本稿は、状態と制御の両方に遅れを含む広告動態をモデル化する遅れ微分方程式に対する確率的最適制御問題を定式化し、ヒルバート空間への埋め込みを用いて無限次元マルコフ型制御問題に再定式化する。バリエーション定理を確立し、解ける例を通じて、導かれるハミルトニアン・ジャコビ・ベルマン（HJB）方程式に対する滑らかな解が存在することを示し、不確実性下での最適広告戦略に対する明示的なフィードバック制御を可能にする。

ABSTRACT

We consider a class of optimal control problems of stochastic delay differential equations (SDDE) that arise in connection with optimal advertising under uncertainty for the introduction of a new product to the market, generalizing classical work of Nerlove and Arrow (1962). In particular, we deal with controlled SDDE where the delay enters both the state and the control. Following ideas of Vinter and Kwong (1981) (which however hold only in the deterministic case), we reformulate the problem as an infinite dimensional stochastic control problem to which we associate, through the dynamic programming principle, a second order Hamilton-Jacobi-Bellman equation. We show a verification theorem and we exhibit some simple cases where such equation admits an explicit smooth solution, allowing us to construct optimal feedback controls.

研究の動機と目的

• 状態と制御の両方に遅れを含む確率的遅れ微分方程式（SDDE）を用いて、不確実性下での最適広告戦略をモデル化すること。
• SDDEを無限次元ヒルバート空間への埋め込みによって、決定論的制御フレームワークを確率的設定に拡張すること。
• 滑らかな解の仮定の下で、関連する無限次元ハミルトニアン・ジャコビ・ベルマン（HJB）方程式に対するバリエーション定理を確立すること。
• 二次コスト関数と線形ダイナミクスを仮定した解ける例を通じて、明示的なフィードバック制御の存在を示すこと。
• 滑らかな解が存在しない場合の未来のバナッハ空間における粘性解アプローチの基盤を築くこと。

提案手法

• 状態と制御の両方に遅れを含む制御付きSDDEを、埋め込み技術を用いて、ヒルバート空間上での等価な無限次元確率的制御問題に再定式化する。
• 動的プログラミング原理を適用し、第二階微分型、半線形型、無限次元HJB方程式を導出する。
• 遅れが状態にのみ影響する特別な場合に、$L^2$アプローチと前向き・後ろ向きSDE技術を用いる。
• 滑らかな解の仮定の下で、HJB方程式に対するバリエーション定理を確立する。
• 二次コスト関数 $h(z) = -\beta z_0^2$ と線形終端ペイオフ $\varphi(x) = \gamma x_0$ を仮定した具体的な例を構築し、明示的な可解性を示す。
• 解候補 $v(t,x) = \langle w(t),x\rangle + c(t)$ を導出し、それが積分的意味でHJB方程式を満たすことを検証する。

実験結果

リサーチクエスチョン

• RQ1 状態と制御の両方に遅れを含む確率的最適制御問題は、無限次元マルコフ型問題に再定式化可能か？
• RQ2 このような問題に関連するHJB方程式が滑らかな解をもつのはどのような条件下か？
• RQ3 滑らかな解の存在が、最適フィードバック制御則の構築を可能にするか？
• RQ4 広告モデルの特定のパrametricなケースにおいて、明示的なフィードバック制御を導出できるか？
• RQ5 バリエーション定理が成立するための動的およびコスト構造に必要な条件は何か？

主な発見

• 滑らかな解の仮定の下で、無限次元HJB方程式に対するバリエーション定理が確立され、最適フィードバック制御の導出が可能になる。
• 特別な場合（二次コスト関数と線形ダイナミクス）において、HJB方程式は $v(t,x) = \langle w(t),x\rangle + c(t)$ の形の解をもつことが示され、これは積分的意味で方程式を満たす。
• 最適制御は明示的に $z^*(t) = \frac{\langle B, w(t)\rangle^+}{2\beta}$ として導出され、状態軌道とは独立しており、時間依存のフィードバック則であることが示される。
• 解 $w(t)$ は常微分方程式系と輸送方程式によって定義され、$w_1(t,\xi) = w_0(t - \xi) \mathbb{I}_{\{t - \xi \in [0,T]\}}$ と表され、遅れ構造が埋め込み系に保存されていることがわかる。
• 値関数は $[0,T] \times X$ 上で連続であり、解候補は状態変数に関して二回微分可能であり、バリエーション定理の仮定を満たしている。
• 例は、$w(t)$ が随伴作用素 $A^*$ の定義域に属さない場合でも、解が積分的解として有効であることを示しており、このアプローチの頑健性を支持している。