[논문 리뷰] Convergence of a Second Order Markov Chain

Shenglong Hu, Liqun Qi|arXiv (Cornell University)|2013. 07. 26.

Tensor decomposition and applications참고 문헌 2인용 수 6

한 줄 요약

이 논문은 전이 확률 텐서의 모든 성분이 $\frac{1}{2n}$를 초과하는 조건 하에서, 두 번째 차수의 거듭제곱 방법과 두 번째 차수의 마르코프 과정이 유일한 정적 분포를 찾는 데 있어 전역적인 선형 수렴성을 확립한다. 핵심 기여는 비선형 사상 $F_P(x) = Px^2$의 야코비안에 1이 고유값으로 존재하지 않는 한, 고정점이 유일하게 존재하고 전역적으로 선형 속도로 수렴함을 증명하는 것이다.

ABSTRACT

In this paper, we consider convergence properties of a second order Markov chain. Similar to a column stochastic matrix is associated to a Markov chain, a so called {\em transition probability tensor} $P$ of order 3 and dimension $n$ is associated to a second order Markov chain with $n$ states. For this $P$, define $F_P$ as $F_P(x):=Px^{2}$ on the $n-1$ dimensional standard simplex $Δ_n$. If 1 is not an eigenvalue of $ abla F_P$ on $Δ_n$ and $P$ is irreducible, then there exists a unique fixed point of $F_P$ on $Δ_n$. In particular, if every entry of $P$ is greater than $\frac{1}{2n}$, then 1 is not an eigenvalue of $ abla F_P$ on $Δ_n$. Under the latter condition, we further show that the second order power method for finding the unique fixed point of $F_P$ on $Δ_n$ is globally linearly convergent and the corresponding second order Markov process is globally $R$-linearly convergent.

연구 동기 및 목표

• 두 번째 차수의 마르코프 체인이 유일한 정적 분포를 가지는 조건을 확립하기 위해.
• 비선형 사상 $F_P(x) = Px^2$의 고정점을 계산하기 위한 두 번째 차수의 거듭제곱 방법의 수렴 행동을 분석하기 위해.
• 전이 텐서에 대한 약간의 양성 조건 하에서 두 번째 차수의 마르코프 과정이 전역적으로 $R$-선형으로 수렴함을 증명하기 위해.
• 텐서 기반 모델을 사용하여 고전적인 마르코프 체인 수렴 결과를 고차수 마르코프 체인으로 확장하기 위해.

제안 방법

• 전이 확률 텐서 $P$에 대해 비선형 사상 $F_P: \Delta_n \to \Delta_n$을 $F_P(x)_i = \sum_{j,k=1}^n p_{ijk} x_j x_k$로 정의한다.
• 고정점 지수 이론을 사용하여, 비가역성과 $\nabla F_P$에서 고유값 1이 존재하지 않는 조건 하에 표준 단체 $\Delta_n$ 상에서 $F_P$의 고정점이 유일함을 증명한다.
• 각 성분 $p_{ijk} > \frac{1}{2n}$인 $\delta > 0$에 대해 $\|x^{(k+1)} - x^*\|_1 \leq (2 - 2n\delta)^{\lceil (k+2)/2 \rceil}$를 만족함을 보여, 두 번째 차수의 거듭제곱 방법의 전역 선형 수렴성을 확립한다.
• 동일한 $\delta$ 기반 조건을 사용하여 오차 감쇠를 유계화함으로써, 마르코프 과정 $x^{(s)} = P x^{(s-1)} x^{(s-2)}$의 전역 $R$-선형 수렴성을 증명한다.
• 성분 $p_{ijk} > \frac{1}{2n}$ 조건을 통해 $\Delta_n$ 상에서 $\nabla F_P$의 고유값 1이 존재하지 않음을 보장함으로써 고정점의 유일성과 수렴성을 보장한다.
• DNA 서열 텐서와 $n=100$인 무작위로 생성된 텐서에 대한 수치 실험을 통해 이론적 결과를 검증하였으며, 이론적 경계와 일치하는 수렴 행동을 보였다.

실험 결과

연구 질문

• RQ1 두 번째 차수의 마르코프 체인이 유일한 정적 분포를 가지는 조건은 무엇인가?
• RQ2 두 번째 차수의 거듭제곱 방법이 비선형 사상 $F_P(x) = Px^2$의 고정점으로 전역적으로 선형 수렴하는 조건은 무엇인가?
• RQ3 두 번째 차수의 마르코프 과정 $x^{(s)} = P x^{(s-1)} x^{(s-2)}$가 전역적으로 $R$-선형으로 수렴하는 조건은 무엇인가?
• RQ4 전이 텐서 $P$의 성분들이 양수일 경우, $\nabla F_P$의 스펙트럼 성질과 수렴성에 어떤 영향을 미치는가?

주요 결과

• 전이 확률 텐서 $P$의 모든 성분이 $\frac{1}{2n}$를 초과하면, $\Delta_n$ 상에서 $\nabla F_P$의 고유값 1이 존재하지 않으며, 이는 $F_P$의 고정점이 유일함을 보장한다.
• 동일한 성분 기반 양성 조건 하에서, 두 번째 차수의 거듭제곱 방법은 고정점 $F_P$로 전역적으로 선형 수렴한다.
• 동일한 조건 하에서 두 번째 차수의 마르코프 과정 $x^{(s)} = P x^{(s-1)} x^{(s-2)}$는 전역적으로 $R$-선형으로 수렴한다.
• 수치 실험 결과 이론적 수렴 속도가 확인되었다: $n=3$일 때 거듭제곱 방법은 평균 9.1회 반복, 마르코프 과정은 12회 반복으로 $10^{-6}$ 오차 범위 내에 수렴하였다.
• $n=100$일 때, 양성 조건을 만족하는 무작위로 생성된 텐서는 이론적 $R$-선형 수렴 속도에 매우 가까운 수렴 곡선을 보였다.
• 유도된 수렴 경계는 날카롭게, 시뮬레이션에서 이론적 $O((2 - 2n\delta)^{\lceil k/2 \rceil})$ 행동과 일치하는 오차 감쇠 속도를 보였다.