[논문 리뷰] Metastability of finite state Markov chains: a recursive procedure to identify slow variables for model reduction

Cláudio Landim, Tengfei Xu|arXiv (Cornell University)|2015. 12. 21.

Markov Chains and Monte Carlo Methods참고 문헌 12인용 수 3

한 줄 요약

이 논문은 유한 상태, 연속 시간 마르코프 체인에서 느린 변수를 식별하기 위해 상태 공간의 점점 더粗화된 분할 계층과 해당 시간 척도를 구성하는 재귀적 알고리즘을 제시한다. 이 방법은 각 분할에 대한 투영된 동역학이 마르코프 체인이 수렴함을 보장하여, 메타안정 행동을 유지하면서 효과적인 모델 축소를 가능하게 하며, 로그 비율 조건 하에서 수렴성이 증명된다.

ABSTRACT

Consider a sequence $(η^N(t) :t\ge 0)$ of continuous-time, irreducible Markov chains evolving on a fixed finite set $E$, indexed by a parameter $N$. Denote by $R_N(η,ξ)$ the jump rates of the Markov chain $η^N_t$, and assume that for any pair of bonds $(η,ξ)$, $(η',ξ')$ $\arctan \{R_N(η,ξ)/R_N(η',ξ')\}$ converges as $N\uparrow\infty$. Under a hypothesis slightly more restrictive (cf. \eqref{mhyp} below), we present a recursive procedure which provides a sequence of increasing time-scales $θ^1_N, \dots, θ^{\mf p}_N$, $θ^j_N \ll θ^{j+1}_N$, and of coarsening partitions $\{\ms E^j_1, \dots, \ms E^j_{\mf n_j}, Δ^j\}$, $1\le j\le \mf p$, of the set $E$. Let $ϕ_j: E o \{0,1, \dots, \mf n_j\}$ be the projection defined by $ ϕ_j(η) = \sum_{x=1}^{\mf n_j} x \, \mb 1\{η\in \ms E^j_x\}$. For each $1\le j\le \mf p$, we prove that the hidden Markov chain $X^j_N(t) = ϕ_j(η^N(tθ^j_N))$ converges to a Markov chain on $\{1, \dots, \mf n_j\}$.

연구 동기 및 목표

• 유한 상태, 연속 시간 마르코프 체인에서 모델 축소를 가능하게 하는 느린 변수를 체계적으로 식별하는 방법을 개발하기 위해.
• 상태 공간의 점점 더 군집화된 분할 계층을 구성하고, 각 분할에 고유한 시간 척도를 할당하기 위해.
• 각 분할에 대한 투영된 체인의 동역학이 해당 시간 척도에서 마르코프 과정으로 수렴함을 보장하기 위해.
• 상태 공간의 점진적 군집화를 통해 메타안정적 구조를 드러내는 재귀적 프레임워크를 제공하기 위해.
• 분리 집합(Δj)에 머무는 시간이 극한에서 무시 가능해지는 조건을 정식화하기 위해.

제안 방법

• 이 방법은 점점 더 군집화되는 시간 척도 θjN 및 분할 {Ej1,…,Ejnj,Δj}를 j=1,…,p에 대해 재귀적으로 구성한다. 이는 점점 더 군집화되고 Δj가 증가하는 것을 특징으로 한다.
• arctan(RN(η,ξ)/RN(η′,ξ′))이 N→∞일 때 수렴한다는 가정에 기반하며, 이는 로그 비율 비율이 안정화됨을 보장한다.
• 각 수준 j에서, φj(η)=∑x=1nj x⋅1{η∈Ejx}로 정의되는 투영은 시간 척도 θjN에서 진화하는 느린 변수를 나타낸다.
• XjN(t)=φj(ηN(tθjN))가 {1,…,nj}에서 연속 시간, 기약가능한 마르코프 체인으로 수렴함을 스토로호드 위상 수렴을 통해 증명한다.
• 시간 도달 시간과 재귀성을 분석하기 위해 부분집합 F⊂E에 대한 추적 과정 ηFt를 사용하며, Δj에서 머무는 시간이 무시 가능함을 보장한다.
• 핵심 기술 도구로는 강한 마르코프 성질, 추적 과정의 에르고딕성, 스케일 조정된 도달 시간의 지수 분포 수렴이 포함된다.

실험 결과

연구 질문

• RQ1 메타안정 행동를 보이는 유한 상태, 연속 시간 마르코프 체인에서 느린 변수를 어떻게 체계적으로 식별할 수 있는가?
• RQ2 어떤 재귀적 절차가 군집화된 분할에서의 동역학이 다수의 시간 척도에 걸쳐 마르코프 과정으로 수렴함을 보장하는가?
• RQ3 시간 척도 θjN에서 분리 집합 Δj에 머무는 시간이 점점 무시 가능해지는 조건은 무엇인가?
• RQ4 각 수준에서 더 군집화되고, 마르코프적 효과 동역학을 드러내는 분할 및 시간 척도 계층을 어떻게 구성할 수 있는가?
• RQ5 체인이 어느 계곡 내 모든 상태를 방문한 후 다른 계곡으로 점프하기 전에 어떤 수학적 조건이 보장되어야 하는가?

주요 결과

• N→∞일 때, 투영 과정 XjN(t)=φj(ηN(tθjN))가 {1,…,nj}에서 연속 시간, 기약가능한 마르코프 체인으로 법적으로 수렴한다.
• 시간 척도 계층은 θjN≪θj+1N를 만족하여, 점진적 군집화 수준 간 시간 척도의 분리가 보장된다.
• Δj는 j가 증가함에 따라 커지며, θjN 시간 척도에서 Δj에 머무는 시간은 극한에서 사라지며, 이는 조건 (H3)에 의해 형식화된다.
• Ejx에 속한 초기 상태에서 다른 Ejy 집합들의 합집합에 도달하는 시간은 θjN 시간 척도에서 점점 지수 분포로 수렴한다.
• 확률이 1로 수렴함에 따라, 체인은 다른 Ejy로 이탈하기 전에 반드시 Ejx 내 모든 상태를 방문함을 확인하여 각 계곡의 내부 에르고딕성을 확인한다.
• 재귀적 구성은 각 수준 j가 더 작은 상태 공간에서 유효하고 점점 마르코프적인 축소 모델을 제공함을 보장한다.