[논문 리뷰] Asymptotic period of an aperiodic Markov chain

Erik A. van Doorn|arXiv (Cornell University)|2017. 12. 29.

Stochastic processes and statistical mechanics참고 문헌 9인용 수 4

한 줄 요약

이 논문은 가산 상태 공간 위의 비가역적, 비주기적 이산시간 마르코프 체인에 대해 점 渐진 주기(period)의 개념을 도입하며, 임시적(chain) 체인에서의 순환 행동을 체계화한다. 비어-데스 과정에서의 점 渐진 주기는 1, 2, 또는 ∞이며, 점 渐진 비주기성(점 渐진 주기 = 1)을 위한 필요충분조건—전이 확률을 포함하는 급수의 발산을 통해—제시한다.

ABSTRACT

We introduce the concept of asymptotic period for an irreducible and aperiodic, discrete-time Markov chain X on a countable state space, and develop the theory leading to its formal definition. The asymptotic period of X equals one - its period - if X is recurrent, but may be larger than one if X is transient; X is asymptotically aperiodic if its asymptotic period equals one. Some sufficient conditions for asymptotic aperiodicity are presented. The asymptotic period of a birth-death process on the nonnegative integers is studied in detail and shown to be equal to 1, 2 or infinity. Criteria for the occurrence of each value in terms of the 1-step transition probabilities are established.

연구 동기 및 목표

• 임시적, 비주기적 마르코프 체인에서 상태 공간의 분할을 통해 순환적인 장기적 행동을 보이는 경우에 대해 점 渐진 주기의 개념을 체계화하는 것.
• 1단계 전이 확률에서 유도된 조화 함수와 재귀관계를 바탕으로 한 점 渐진 주기성의 이론적 프레임워크를 수립하는 것.
• 비음수 정수 위의 비어-데스 과정의 점 渐진 주기를 분석하고, 그 주기가 1, 2, 또는 ∞가 되는 조건을 규명하는 것.
• 1단계 전이 확률에 대해 점 渐진 비주기성(점 渐진 주기 = 1)을 위한 필요충분조건을 도출하는 것.
• 특히 비어-데스 과정의 맥락에서 점 渐진 비주기성과 강한 비율 한계 성질 사이의 관계를 규명하는 것.

제안 방법

• 점 渐진 주기를 상태 공간의 분할을 통해 임시적 체인이 점점 순환하는 최대 집합의 수로 정의한다.
• 전이 행렬과 관련된 수직 다항식 $ Q_n(x) $에 대한 조화 함수 이론과 재귀관계를 사용하여, 2단계 전이 행렬 $ P^2 $ 의 구조를 분석한다.
• 카린과 맥커시의 수직 다항식 프레임워크를 적용하여 재귀식 $ xQ_n(x) = q_n Q_{n-1}(x) + r_n Q_n(x) + p_n Q_{n+1}(x) $ 를 유도하며, 초기 조건을 포함한다.
• 수열 $ \bar{Q}_n(-1) = (-1)^n Q_n(-1) $ 를 도입하여, 이 수열이 증가하고 ∞로 발산하는 것과 $ \sum_{j=0}^\infty \frac{1}{p_j \pi_j} \sum_{k=0}^j r_k \pi_k = \infty $ 가 동시에 성립하는 것의 필요충분조건임을 보인다.
• $ \mathcal{X}^{(2)} $ 가 단순함(즉, 체인이 점 渐진 비주기적임)임은 $ |Q_n(-1)| \to \infty $ 와 동치이며, 이는 조건에 포함된 급수의 발산과 동치임을 증명한다.
• $ P^2 $ 에 대한 유계 조화 함수와 $ |Q_n(-1)| $ 의 수렴성 사이의 등가성을 이용하여 점 渐진 주기를 급수의 발산과 연결한다.

실험 결과

연구 질문

• RQ1 비가역적, 비주기적, 그러나 상태 분할을 통해 장기적으로 순환 행동을 보이는 임시적 마르코프 체인에 대해 주기성 개념을 확장할 수 있는가?
• RQ2 비음수 정수 위의 비어-데스 과정에서의 점 渐진 주기는 무엇에 의해 결정되며, 언제 1, 2, 또는 ∞가 되는가?
• RQ3 비어-데스 과정이 점 渐진 비주기적임을 위한 1단계 전이 확률에 대한 필수충분조건은 무엇인가?
• RQ4 비어-데스 과정의 맥락에서 점 渐진 비주기성은 강한 비율 한계 성질과 어떻게 관련되어 있는가?
• RQ5 수열 $ |Q_n(-1)| $ 이 발산하는 조건은 무엇이며, 이는 체인의 점 渐진 주기성과 어떻게 관련되는가?

주요 결과

• 비가역적, 비주기적, 그러나 장기적으로 상태 공간의 분할을 통해 순환 행동을 보이는 임시적 마르코프 체인의 점 渐진 주기는 1을 초과할 수 있다.
• 비음수 정수 위의 비어-데스 과정에서 점 渐진 주기는 전이 확률의 구조에 따라 1, 2, 또는 ∞가 된다.
• 점 渐진 주기가 1(즉, 체인이 점 渐진 비주기적임)임은 $ \sum_{j=0}^\infty \frac{1}{p_j \pi_j} \sum_{k=0}^j r_k \pi_k = \infty $ 라는 조건과 동치이며, 여기서 $ \pi_j $ 는 정적 조건이다.
• 점 渐진 비주기성의 충분조건으로 $ \sum_{j=0}^\infty \frac{r_j}{p_j} = \infty $ 가 존재하며, 이는 더 넓은 맥락에서의 조건보다 약한 조건이다.
• 수열 $ \bar{Q}_n(-1) = (-1)^n Q_n(-1) $ 는 증가하고 ∞로 발산하며, 이는 핵심 급수의 발산과 동치이며, 점 渐진 비주기성을 특징짓는다.
• $ P^2 $ 에 대한 유계 조화 함수의 유계성은 $ |Q_n(-1)| $ 의 수렴성과 동치이며, 따라서 $ P^2 $ 에 비상수 유계 조화 함수가 존재하지 않으면 점 渐진 비주기성이 성립한다.