[論文レビュー] Stochastic derivatives and generalized h-transforms of Markov processes

Christian Léonard|arXiv (Cornell University)|Feb 15, 2011

Mathematical Dynamics and Fractals参考文献 17被引用数 4

ひとこと要約

本稿は、時間非一様なポテンシャル $V$、初期重み $f_0$、終端重み $g_1$ に対して正則性仮定を必要とせずに、マコフ過程の一般化された h-変換の無限小生成子を導出する。変換された測度 $P$ は、Feynman-Kac 型のRadon-Nikodym密度によって定義され、その確率的微分が直接的に $P$ の生成子を与えることが示され、主要な結果として、$P$ のSDEにおける追加のドリフトが、$P$-拡張勾配 $\widetilde{\nabla}^P \psi(t,x)$ で与えられ、この $\psi(t,x)$ は粘性解として定式化されたHJB方程式を満たすことが判明する。

ABSTRACT

Let $R$ be a continuous-time Markov process on the time interval $[0,1]$ with values in some state space $X$. We transform this reference process $R$ into $P:=f(X_0)\exp (-\int_0^1 V_t(X_t) dt) g(X_1)\,R$ where $f,g$ are nonnegative measurable functions on X and V is some measurable function on $[0,1] imes X$. It is easily seen that $P$ is also Markov. The aim of this paper is to identify the Markov generator of $P$ in terms of the Markov generator of $R$ and of the additional ingredients: $f,g$ and $V$ in absence of regularity assumptions on $f,g$ and $V.$ As a first step, we show that the extended generator of a Markov process is essentially its stochastic derivative. Then, we compute the stochastic derivative of $P$ to identify its generator, under a finite entropy condition. The abstract results are illustrated with continuous diffusion processes on $\mathbb{R}^d$ and Metropolis algorithms on a discrete space.

研究の動機と目的

• 参考となるマコフ過程 $R$ の一般化された h-変換によって得られる時間非一様なマコフ過程 $P$ の無限小生成子を、$f_0$、$g_1$、$V$ の正則性を仮定せずに特定すること。
• Feynman-Kac型密度による測度変更下での時間非一様マコフ過程の確率的微分とその生成子との関係を確立し、有限相対エントロピー下で拡張生成子が確率的微分と等価であることを示すこと。
• 連続型拡散過程（$\mathbb{R}^d$ 上）および離散状態空間上の連続時間ジャンプ過程という2つの重要なケースについて、$P$ の生成子および遷移ダイナミクスの明示的表現を提供すること。
• 時間依存ポテンシャル $V_t$ を組み込み、$f_0$、$g_1$、$V$ が滑らかでない場合も許容する、ドゥーブの古典的h-変換の一般化を行うこと。

提案手法

• 本稿は、確率測度の確率的微分の概念を用いて、$P$ の生成子を同定し、有限相対エントロピー下で $P$ の拡張生成子とその確率的微分が一致することを示す。
• Girsanov理論とマルティンゲール問題の技法を適用し、時間非一様なジャンプレート $J^P$ を持つ新たなマルティンゲール問題 $\mathrm{MP}(J^P; P_0)$ として $P$ を特徴付ける。
• 鍵となる要素は、関数 $\psi(t,x) = \log E_R[\exp(-\int_t^1 V_s(X_s)ds) g_1(X_1) \mid X_t = x]$ であり、これにより動的変化が $J^P(t,x;dy) = \exp(\psi_t(y) - \psi_t(x)) J(x;dy)$ で与えられる。
• 拡散過程の場合、SDEにおける追加ドリフト $\beta(t,x)$ は、$P$-拡張勾配 $\widetilde{\nabla}^P \psi(t,x)$ として与えられ、拡散行列がフルランクのときには $\nabla \psi$ に簡略化される。
• ジャンプ過程の場合、生成子は拡張生成子 $\Gamma^R(g,u)/g$ を通じて導出され、$\psi$ の離散勾配の指数関数に依存する時間非一様なジャンプレート $J^P$ が得られる。
• 本稿は、$\psi$ が生成子 $\mathcal{L}^R$、ポテンシャル $V$、および凸関数 $\theta(a) = e^a - a - 1$ を含む時間非一様HJB方程式の連続的粘性解として一意に存在することを証明する。

実験結果

リサーチクエスチョン

• RQ1 正則性仮定なしに、参考過程 $R$ の生成子および関数 $f_0$、$g_1$、$V$ を用いて、一般化されたh-変換 $P$ の生成子をどのように表現できるか。
• RQ2 Feynman-Kac密度による測度変更下で、時間非一様マコフ過程の生成子を特徴付ける際、確率的微分が果たす役割は何か。
• RQ3 SDEにおける$P$ の追加ドリフトは、時間非一様HJB方程式の解とどのように関係するか。
• RQ4 $P$ が時間非一様マルティンゲール問題によって完全に特徴付けられるか。また、$P$ が一意に解であるための条件は何か。
• RQ5 このような変換下でのジャンプ過程の遷移核 $J^P$ の構造は何か。また、$\psi$ とどのように関係するか。

主な発見

• 有限相対エントロピー下で、測度 $P$ の確率的微分がその拡張生成子と等価であることが示され、$P$ の生成子に対する新たな特徴付けが得られた。
• 連続拡散過程の場合、SDEにおける追加ドリフト $\beta(t,x)$ は、$\psi(t,x)$ の $P$-拡張勾配 $\widetilde{\nabla}^P \psi(t,x)$ として与えられ、ここで $\psi(t,x)$ は、$X_t = x$ を条件とした終端重み $g_1(X_1)$ の条件付き期待値の対数である。
• 拡散系の場合、$\psi(t,x)$ は時間非一様HJB方程式 $\mathcal{L}^R \psi(t,x) + \int_{\mathcal{X}} \theta(D\psi_t(x;y)) J(x;dy) - V(t,x) = 0$ において、$[0,1) \times \mathcal{X}$ 上で連続的粘性解として一意に存在し、終端条件 $\psi_1(x) = \log g_1(x)$ を満たす。
• ジャンプ過程の場合、変換されたジャンプレートは $J^P(t,x;dy) = \exp(\psi_t(y) - \psi_t(x)) J(x;dy)$ で与えられ、これは時間非一様かつ状態依存の測度変更である。
• $\psi(t,x)$ は $dt P_t(dx)$-ほとんど至る所で定義されており、$V$ が可測で $g$ が時間微分可能でない場合でさえも、時間非一様HJB方程式の唯一の連続的粘性解である。
• 本稿は、$P$ が $\{Q \in \mathcal{P}(\Omega) : H(Q|R) < \infty\}$ 内で、$P_0 = f_0 g_0 m^0$ を満たすマルティンゲール問題 $\mathrm{MP}(J^P; P_0)$ の唯一の解であることを確立した。