[논문 리뷰] Persistent random walks, variable length Markov chains and piecewise deterministic Markov processes

Peggy Cénac, Brigitte Chauvin외 2명|arXiv (Cornell University)|2012. 08. 16.

Diffusion and Search Dynamics참고 문헌 20인용 수 12

한 줄 요약

이 논문은 증분이 무한 기억을 가진 가변 길이 마르코프 체인(VLMC)을 따르는 일반화된 지속적인 랜덤 워크를 제안하며, 비마르코프 동역학을 모델링한다. 적절한 스케일링 하에, 복합 과정은 조각별 선형 경로를 가지는 조각별 결정론적 마르코프 과정(PDMP)으로 수렴하며, 유한 기억 모델을 초월해 통합 텔레그래프 노이즈의 수렴을 확장한다.

ABSTRACT

A classical random walk $(S_t, t\\in\\mathbb{N})$ is defined by $S_t:=\\displaystyle\\sum_{n=0}^t X_n$, where $(X_n)$ are i.i.d. When the increments $(X_n)_{n\\in\\mathbb{N}}$ are a one-order Markov chain, a short memory is introduced in the dynamics of $(S_t)$. This so-called "persistent" random walk is nolonger Markovian and, under suitable conditions, the rescaled process converges towards the integrated telegraph noise (ITN) as the time-scale and space-scale parameters tend to zero (see Herrmann and Vallois, 2010; Tapiero-Vallois, Tapiero-Vallois2}). The ITN process is effectively non-Markovian too. The aim is to consider persistent random walks $(S_t)$ whose increments are Markov chains with variable order which can be infinite. This variable memory is enlighted by a one-to-one correspondence between $(X_n)$ and a suitable Variable Length Markov Chain (VLMC), since for a VLMC the dependency from the past can be unbounded. The key fact is to consider the non Markovian letter process $(X_n)$ as the margin of a couple $(X_n,M_n)_{n\\ge 0}$ where $(M_n)_{n\\ge 0}$ stands for the memory of the process $(X_n)$. We prove that, under a suitable rescaling, $(S_n,X_n,M_n)$ converges in distribution towards a time continuous process $(S^0(t),X(t),M(t))$. The process $(S^0(t))$ is a semi-Markov and Piecewise Deterministic Markov Process whose paths are piecewise linear.

연구 동기 및 목표

• 유한 순서 마르코프 체인을 초월해 무한 기억을 포함하는 VLMC를 통해 지속적 랜덤 워크를 확장하는 것.
• 비마르코프 증분 과정과 메모리 과정(M_n) 사이의 일대일 대응을 확립하여 복합 스케일링을 가능하게 하는 것.
• 스케일링된 삼중항 (S_n, X_n, M_n)의 약한 수렴을 증명하여 연속 시간 PDMP (S^0(t), X(t), M(t))로 수렴하는 것. 이 과정은 조각별 선형 표본 경로를 가진다.
• 무한 컨텍스트 트리에서의 기저 VLMC의 불변 측도를 특성화하며, 다수의 정적 분포를 포함한 경우도 포함한다.

제안 방법

• 증분 과정 (X_n)을 무한 잎을 가진 컨텍스트 트리에서 정의된 VLMC (U_n)의 주변 분포로 모델링하며, 간단한 또는 이중 무한 콤과 같은 예를 포함한다.
• 각 X_n에 대해 관련된 과거 컨텍스트를 추적하는 메모리 과정 (M_n)을 도입하여, 무한 기억을 가진 비마르코프 의존성을 가능하게 한다.
• S_n가 X_n의 누적 합인 복합 과정 (S_n, X_n, M_n)을 정의하고, 연속적 극한을 얻기 위해 시간-공간 복합 스케일링을 적용한다.
• 컨텍스트 트리의 구조를 이용해 컨텍스트별 베르누이 분포(q_c)를 통해 전이 확률을 정의함으로써, VLMC가 수렴 조건 하에 잘 정의되고 정적임을 보장한다.
• 유한 차원 분포의 수렴과 모멘트 유계성에 기반한 콤���성 조건을 확인하여 스케일링된 과정의 약한 수렴을 증명한다.
• 무한 급수(Θ₁, Θ₂)를 사용하여 경로 공간에서의 정적 측도를 특성화하고, 수렴 조건 하에 π_a, π_{a,b}에 대한 명시적 공식을 유도한다.

실험 결과

연구 질문

• RQ1 무한 기억을 가진 지속적 랜덤 워크는 VLMC를 통해 구성 가능하며, 연속 시간 과정으로 수렴하는가?
• RQ2 컨텍스트 트리와 전이 확률에 어떤 조건이 성립하면 VLMC의 정적 측도가 존재하는가?
• RQ3 복합 스케일링 (S_n, X_n, M_n)이 한계에서 조각별 결정론적 마르코프 과정(PDMP)으로 이르는가?
• RQ4 이중 콤과 같은 무한 컨텍스트 트리에서 VLMC의 불변 측도의 구조는 어떠한가?
• RQ5 한계 과정 (S^0(t), X(t), M(t))이 반마르코프 과정과 조각별 선형 경로를 가지는 PDMP의 성질을 유지하는 조건은 무엇인가?

주요 결과

• 스케일링된 과정 (S_n, X_n, M_n)은 거의 확실히 조각별 선형 경로를 가지는 PDMP (S^0(t), X(t), M(t))로 분포 수렴한다.
• Θ₁과 Θ₂가 수렴할 경우, 이중 무한 콤에서 두 파rameter 가족의 정적 측도 π_{a,b}가 존재하며, π_{a,b}(0^∞) = a 및 π_{a,b}(1^∞) = b를 만족한다.
• 이중 무한 콤의 경우, 불변 측도 π_{a,b}는 π_{a,b}(0) = (aΘ₂ + (1−b)Θ₁)/(Θ₁+Θ₂) 및 π_{a,b}(10) = (1−a−b)/(Θ₁+Θ₂)로 명시적으로 주어진다.
• Θ₁과 Θ₂가 발산할 경우, 유일한 정적 측도는 무한 경로 0^∞와 1^∞에 집중되어 있으며, π(10) = 0이다.
• q_{0^∞}(0) 또는 q_{1^∞}(1) 중 하나만 1일 경우, 해당 시리즈의 수렴 조건 하에 정적 측도는 유일하며, 각각 0^∞ 또는 1^∞에 지지된다.
• 한계 과정 (S^0(t), X(t), M(t))은 반마르코프 과정이자 조각별 결정론적 마르코프 과정이며, 유한 기억 모델을 초월해 통합 텔레그래프 노이즈를 일반화한다.