[논문 리뷰] Approximating the Stationary Probability of a Single State in a Markov chain

Christina Lee, Asuman Ozdaglar외 1명|arXiv (Cornell University)|2013. 12. 06.

Markov Chains and Monte Carlo Methods참고 문헌 30인용 수 3

한 줄 요약

이 논문은 정상재생 마코프 체인에서 특정 상태의 정상확률을 추정하기 위해 반복적인 몬테카를로 알고리즘을 제안한다. 이 알고리즘은 해당 상태로의 복귀 시간을 시뮬레이션하여 정상확률을 추정하며, 높은 확률로 $\epsilon$-상대적 근사치를 $\tilde{O}(t_{\text{mix}}\ln(1/\alpha)/( olimits\pi_i\epsilon^2))$ 단계 이내에 도출한다. 상한 추정치를 점차 감소시키고 오차가 유한하게 유지됨을 보장하는 종료 기준을 통해, 리아파노프 함수를 활용해 가чёт한 무한 상태공간으로의 확장도 가능하다.

ABSTRACT

In this paper, we present a novel iterative Monte Carlo method for approximating the stationary probability of a single state of a positive recurrent Markov chain. We utilize the characterization that the stationary probability of a state $i$ is inversely proportional to the expected return time of a random walk beginning at $i$. Our method obtains an $ε$-multiplicative close estimate with probability greater than $1 - α$ using at most $ ilde{O}\left(t_{ ext{mix}} \ln(1/α) / π_i ε^2 ight)$ simulated random walk steps on the Markov chain across all iterations, where $t_{ ext{mix}}$ is the standard mixing time and $π_i$ is the stationary probability. In addition, the estimate at each iteration is guaranteed to be an upper bound with high probability, and is decreasing in expectation with the iteration count, allowing us to monitor the progress of the algorithm and design effective termination criteria. We propose a termination criteria which guarantees a $ε(1 + 4 \ln(2) t_{ ext{mix}})$ multiplicative error performance for states with stationary probability larger than $Δ$, while providing an additive error for states with stationary probability less than $Δ\in (0,1)$. The algorithm along with this termination criteria uses at most $ ilde{O}\left(\frac{\ln(1/α)}{ε^2} \min\left(\frac{t_{ ext{mix}}}{π_i}, \frac{1}{εΔ} ight) ight)$ simulated random walk steps, which is bounded by a constant with respect to the Markov Chain. We provide a tight analysis of our algorithm based on a locally weighted variant of the mixing time. Our results naturally extend for countably infinite state space Markov chains via Lyapunov function analysis.

연구 동기 및 목표

• 전체 정상분포를 계산하지 않고도 큰 또는 무한한 마코프 체인에서 특정 상태의 정상확률을 효율적으로 추정하는 알고리즘을 개발하는 것.
• 희소하고 고차원적인 시스템에서 계산을 목표 상태 주변으로 국한하기 위해 복귀 시간 샘플링을 활용하여 비용을 감소시키는 것.
• 목표 상태의 정상확률 크기에 따라 상대적 또는 덧셈 오차 한계를 보장하는 종료 기준을 제공하는 것.
• 정상재생성을 보장하기 위해 리아파노프 함수 분석을 활용해 가чёт한 무한 상태공간으로의 확장을 이루는 것.

제안 방법

• 복귀 시간 $T_i$에 대한 역관계 $\pi_i = 1/\mathbb{E}_i[T_i]$ 를 이용하여, $\pi_i$ 를 복귀 보행의 시뮬레이션을 통해 추정한다.
• 반복적으로 절단 임계값 $\theta^{(k)}$ 과 샘플 수를 증가시켜 추정치를 정교화하고 수렴을 보장한다.
• 각 반복 단계에서 $\pi_i$ 의 상한 추정치를 계산하며, 이는 기대값 측면에서 감소하므로 진행 상황 모니터링이 가능하다.
• 복잡도 상한에서 표준 혼합 시간 대신, 수렴 속도를 정밀하게 분석하기 위해 국소 가중 혼합 시간을 도입한다.
• 샘플 평균이 기대값 주변에 높은 확률로 집중되도록 체르노프 불등식을 사용한다.
• 무한 상태공간의 경우, $V(j) = \mathbb{E}_j[T_i]$ 를 정의하여 정상재생성을 확립하고 분석을 가능하게 하는 리아파노프 함수를 구성한다.

실험 결과

연구 질문

• RQ1 전체 정상분포를 계산하는 것보다 마코프 체인에서 특정 상태의 정상확률을 더 효율적으로 추정할 수 있는가?
• RQ2 높은 확률로 정확한 정상확률로 수렴하고 오차가 유한한 국소적이고 반복적인 몬테카를로 방법을 어떻게 설계할 수 있는가?
• RQ3 정상확률 $\pi_i$ 의 크기에 따라 상대적 또는 덧셈 오차 보장을 보장하는 종료 기준은 무엇인가?
• RQ4 이론적 보장을 유지하면서 이 방법을 가чёт한 무한 상태공간으로 어떻게 확장할 수 있는가?
• RQ5 $\epsilon$, $\alpha$, $t_{\text{mix}}$, $\pi_i$ 에 따라 계산 비용과 정확도 사이의 최적의 트레이드오���은 무엇인가?

주요 결과

• 알고리즘은 $\pi_i$ 의 $\epsilon$-상대적 근사치를 $1-\alpha$ 이상의 확률로 $\tilde{O}(t_{\text{mix}}\ln(1/\alpha)/( olimits\pi_i\epsilon^2))$ 개의 시뮬레이션 단계 이내에 도출한다.
• 각 반복 단계에서의 추정치는 높은 확률로 상한이 되며 기대값 측면에서 감소하므로 효과적인 모니터링과 종료가 가능하다.
• 종료 기준은 $\pi_i > \Delta$ 인 상태에 대해 $\epsilon(1+4\ln(2)t_{\text{mix}})$ 의 상대적 오차를 보장하고, $\pi_i < \Delta$ 인 경우 덧셈 오차를 보장하며 총 비용은 $\tilde{O}(\ln(1/\alpha)/\epsilon^2 \cdot \min(t_{\text{mix}}/\pi_i, 1/(\epsilon\Delta)))$ 이하로 유한하다.
• 리아파노프 함수 분석을 통해 가чёт한 무한 상태공간으로의 확장이 가능하며, 정상재생 조건 하에서 유효함이 보장된다.
• 분석에서 국소 가중 혼합 시간이 도입되어 복잡도 분석에서 표준 혼합 시간보다 더 날카로운 상한을 제공한다.
• 알고리즘의 복잡도는 전체 상태공간 크기와 무관하므로, 대규모 및 희소 마코프 체인에 적합하다.