[논문 리뷰] Stochastic derivatives and generalized h-transforms of Markov processes

Christian Léonard|arXiv (Cornell University)|2011. 02. 15.

Mathematical Dynamics and Fractals참고 문헌 17인용 수 4

한 줄 요약

이 논문은 시간에 비례하지 않는 잠재력 $V$, 초기 가중치 $f_0$, 종료 가중치 $g_1$에 대한 규칙성 가정 없이 일반화된 h-변환의 무한소 생성자를 유도한다. 변환된 측도 $P$—Feynman-Kac 유형의 Radon-Nikodym 밀도로 정의됨—의 확률적 미분이 직접적으로 $P$의 생성자를 제공함을 보이며, 핵심 결과는 $P$의 SDE에서 추가된 드리프트가 로그우도 함수 $\psi(t,x)$의 $P$-확장된 기울기임을 밝힌다. 이 $\psi(t,x)$는 점성 형태의 HJB 방정식을 만족한다.

ABSTRACT

Let $R$ be a continuous-time Markov process on the time interval $[0,1]$ with values in some state space $X$. We transform this reference process $R$ into $P:=f(X_0)\exp (-\int_0^1 V_t(X_t) dt) g(X_1)\,R$ where $f,g$ are nonnegative measurable functions on X and V is some measurable function on $[0,1] imes X$. It is easily seen that $P$ is also Markov. The aim of this paper is to identify the Markov generator of $P$ in terms of the Markov generator of $R$ and of the additional ingredients: $f,g$ and $V$ in absence of regularity assumptions on $f,g$ and $V.$ As a first step, we show that the extended generator of a Markov process is essentially its stochastic derivative. Then, we compute the stochastic derivative of $P$ to identify its generator, under a finite entropy condition. The abstract results are illustrated with continuous diffusion processes on $\mathbb{R}^d$ and Metropolis algorithms on a discrete space.

연구 동기 및 목표

• 규칙성 가정 없이 기준 마코프 과정 $R$의 일반화된 h-변환을 통한 시간에 비례하지 않는 마코프 과정 $P$의 무한소 생성자를 규명하는 것.
• Feynman-Kac 밀도에 의해 정의된 측도 $P$의 확률적 미분과 그 생성자 간의 관계를 확립하여, 유한 상대 엔트로피 조건 하에서 확장된 생성자가 확률적 미분과 동치임을 보이는 것.
• 연속적인 확산 과정 $\mathbb{R}^d$에서와 이산 상태 공간에서의 연속 시간 점프 과정에서 $P$의 생성자 및 전이 동역학에 대한 명시적 표현을 제공하는 것.
• 시간에 비례하는 잠재력 $V_t$를 포함하고 비연속적인 $f_0$, $g_1$, $V$를 允허하는 Doob의 고전적 h-변환을 일반화하는 것.

제안 방법

• 논문은 확률 측도의 확률적 미분 개념을 사용하여 $P$의 생성자를 규명하며, $P$의 확장된 생성자가 상대 엔트로피가 유한할 조건 하에서 그 확률적 미분과 일치함을 보인다.
• Girsanov 이론과 마틴갈 문제 기법을 적용하여 $P$를 시간에 비례하지 않는 점프 비율 $J^P$를 갖는 새로운 마틴갈 문제 $\mathrm{MP}(J^P; P_0)$의 유일한 해로 특성화한다.
• 핵심 요소는 $\psi(t,x) = \log E_R[\exp(-\int_t^1 V_s(X_s)ds) g_1(X_1) \mid X_t = x]$로, 이는 $J^P(t,x;dy) = \exp(\psi_t(y) - \psi_t(x)) J(x;dy)$를 통해 동역학의 이동을 정의한다.
• 확산 과정의 경우, 추가 드리프트 $\beta(t,x)$는 $P$-확장된 기울기 $\widetilde{\nabla}^P \psi(t,x)$로 표현되며, 확산 행렬이 최대 질서일 경우 $\nabla \psi$로 감소한다.
• 점프 과정의 경우, 생성자는 확장된 생성자 $\Gamma^R(g,u)/g$를 통해 유도되며, 이는 $\psi$의 이산 기울기의 지수에 의존하는 시간에 비례하지 않는 점프 비율 $J^P$를 도출한다.
• 논문은 $\psi$가 생성자 $\mathcal{L}^R$, 잠재력 $V$, 그리고 볼록 함수 $\theta(a) = e^a - a - 1$를 포함하는 시간에 비례하지 않는 HJB 방정식의 유일한 연속 점성해임을 증명한다.

실험 결과

연구 질문

• RQ1 규칙성 가정 없이 기준 과정 $R$의 생성자와 함수 $f_0$, $g_1$, $V$를 통해 일반화된 h-변환 $P$의 생성자를 어떻게 표현할 수 있는가?
• RQ2 Feynman-Kac 밀도에 의한 측도 변화 하에서 시간에 비례하지 않는 마코프 과정의 생성자를 특성화하는 데 있어 확률적 미분의 역할은 무엇인가?
• RQ3 SDE에서의 추가 드리프트는 시간에 비례하지 않는 해밀턴-자코비-벨리만(HJB) 방정식의 해와 어떻게 관련되어 있는가?
• RQ4 변환된 과정 $P$의 동역학은 시간에 비례하지 않는 마틴갈 문제로 완전히 특성화될 수 있으며, $P$가 유일한 해가 되는 조건은 무엇인가?
• RQ5 점프 과정에서의 전이 커널 $J^P$의 구조는 어떻게 되며, 이는 함수 $\psi$와 어떻게 관련되어 있는가?

주요 결과

• 상대 엔트로피가 유한할 조건 하에서 측도 $P$의 확률적 미분이 그 확장된 생성자와 동치임을 보이며, 이는 $P$의 생성자에 대한 새로운 특성화를 제공한다.
• 연속적인 확산 과정의 경우, SDE에서의 추가 드리프트 $\beta(t,x)$는 $\psi(t,x)$의 $P$-확장된 기울기 $\widetilde{\nabla}^P \psi(t,x)$로 주어지며, 이는 $X_t = x$ 조건 하에서 종료 가중치 $g_1(X_1)$의 조건부 기대값의 로그이다.
• 확산 케이스에서 $\psi(t,x)$는 $[0,1) \times \mathcal{X}$에서 $\mathcal{L}^R \psi(t,x) + \int_{\mathcal{X}} \theta(D\psi_t(x;y)) J(x;dy) - V(t,x) = 0$ 형태의 HJB 방정식의 점성해이며, 종료 조건 $\psi_1(x) = \log g_1(x)$를 만족한다.
• 점프 과정의 경우, 변환된 점프 비율은 $J^P(t,x;dy) = \exp(\psi_t(y) - \psi_t(x)) J(x;dy)$로 주어지며, 이는 시간에 비례하지 않고 상태에 따라 변하는 측도 변화이다.
• $\psi(t,x)$는 $dt P_t(dx)$-거의 전부에서 잘 정의되며, $V$가 뿌리어진 함수이고 $g$가 시간 미분 가능하지 않더라도 유일한 연속 점성해이다.
• 논문은 $P$가 $\{Q \in \mathcal{P}(\Omega) : H(Q|R) < \infty\}$ 내에서 마틴갈 문제 $\mathrm{MP}(J^P; P_0)$의 유일한 해임을 증명하며, $P_0 = f_0 g_0 m^0$이다.