[논문 리뷰] The Computational Complexity of Estimating Convergence Time

Nayantara Bhatnagar, Andrej Bogdanov외 1명|arXiv (Cornell University)|2010. 07. 01.

Markov Chains and Monte Carlo Methods참고 문헌 10인용 수 5

한 줄 요약

이 논문은 마르코프 체인에서 수렴 시간 추정의 계산적 난이도를 규명하며, 빠르게 혼합하는 체인이 시간 $ t $ 에 정상분포에 가까운지 또는 시간 $ ct $ 에 멀리 떨어져 있는지를 구분하는 것이 통계적 제로 지식(SZK), co-NP, PSPACE에 대해 어렵다는 것을 증명한다. 설정에 따라 달라지며, 표준 복잡도 가정 하에 혼합 시간이 다항식으로 알려져 있음에도 불구하고 수렴 진단은 여전히 계산적으로 비가역적임을 보여준다.

ABSTRACT

An important problem in the implementation of Markov Chain Monte Carlo algorithms is to determine the convergence time, or the number of iterations before the chain is close to stationarity. For many Markov chains used in practice this time is not known. Even in cases where the convergence time is known to be polynomial, the theoretical bounds are often too crude to be practical. Thus, practitioners like to carry out some form of statistical analysis in order to assess convergence. This has led to the development of a number of methods known as convergence diagnostics which attempt to diagnose whether the Markov chain is far from stationarity. We study the problem of testing convergence in the following settings and prove that the problem is hard in a computational sense: Given a Markov chain that mixes rapidly, it is hard for Statistical Zero Knowledge (SZK-hard) to distinguish whether starting from a given state, the chain is close to stationarity by time t or far from stationarity at time ct for a constant c. We show the problem is in AM intersect coAM. Second, given a Markov chain that mixes rapidly it is coNP-hard to distinguish whether it is close to stationarity by time t or far from stationarity at time ct for a constant c. The problem is in coAM. Finally, it is PSPACE-complete to distinguish whether the Markov chain is close to stationarity by time t or far from being mixed at time ct for c at least 1.

연구 동기 및 목표

• 마르코프 체인에서 수렴 시간 추정 문제를 계산적 결정 문제로 형식화하기.
• 빠르게 혼합한다는 사실이 알려져 있음에도 불구하고, 주어진 시간 $ t $ 에서 마르코프 체인이 정상분포에 가까운지 또는 멀리 떨어져 있는지를 판단하는 계산 복잡도를 조사하기.
• 통계적 수렴 진단의 한계를 그들의 계산적 난이도 분석을 통해 평가하기.
• 다양한 가정 하에 수렴 탐지의 엄밀한 복잡도 상한(SZK, co-NP, PSPACE)을 설정하기.
• 다항식 혼합 시간 상한이 존재함에도 불구하고 실무에서 수렴 진단이 효율적으로 계산될 수 없다는 것을 보여주기.

제안 방법

• 수렴 탐지를 결정 문제로 형식화: 상수 $ c $ 에 대해 시간 $ t $ 에서 체인이 $ \frac{1}{4} $-근접한 정상분포에 있는지, 또는 시간 $ ct $ 에서 $ \frac{1}{4} $-떨어져 있는지를 구분하기.
• 복잡도 이론에서 알려진 난이도 있는 문제들(NP, co-NP, PSPACE 등)에서 수렴 탐지 문제로의 감소를 통해 터미널 기계 시뮬레이션을 이용하기.
• 비결정성 튜링 기계에서 마르코프 체인을 구성하기 위해 간선 가중치를 할당: 전이에 대해 $ w = \lceil \frac{1000D^3c2^{3n}}{1-4\delta} \rceil $, 수락/거부 간선에 대해 1 할당.
• 상태 진동을 모델링하기 위해 유한 차수 그래프에 대한 가역적인 랜덤 워크로 마르코프 체인을 정의하며, 자기순환과 가중치가 부여된 전이를 포함한다.
• 혼합 시간이 그래프의 연결성과 간선 가중치 분포와 어떻게 관련되는지를 도전도 한계와 총 변동 거리로 기술하기.
• YES 케이스(수락 경로 존재)에서는 그래프가 연결되어 있으며 혼합 시간이 $ O(D^3 2^{3n} / (1-4\delta)) $ 이내로 유계임을 증명한다. NO 케이스(수락 경로 없음)에서는 체인이 연결되지 않으며 $ d(t) \geq 1 - 2t/w $ 를 만족하여 느린 혼합이 된다.

실험 결과

연구 질문

• RQ1 혼합 시간이 다항식으로 알려져 있음에도 불구하고, 빠르게 혼합하는 마르코프 체인이 시간 $ t $ 에 정상분포에 가까운지 여부를 결정하는 것이 계산적으로 어렵지 않은가?
• RQ2 기본 결정 문제의 계산 복잡도를 감안할 때, 통계적 수렴 진단이 실무에서 비수렴 상태를 신뢰성 있게 탐지할 수 있는가?
• RQ3 체인이 빠르게 혼합한다는 것이 알려져 있을 때, 수렴 탐지 문제의 정확한 복잡도 클래스는 무엇인가? 예를 들어, $ c \geq 1 $ 인 경우에 대해.
• RQ4 시간 척도 $ t $ 와 $ ct $ 의 상수 $ c $ 에 따라 수렴 탐지의 난이도는 어떻게 변하는가? 특히 $ c $ 가 작을 경우 어떻게 되는가?
• RQ5 수렴과 비수렴을 구분하는 문제를 AM 또는 co-AM 클래스에서 효율적으로 해결할 수 있는가? 아니면 더 어렵게 되는가?

주요 결과

• 빠르게 혼합하는 마르코프 체인이 시간 $ t $ 에 정상분포에 가까운지, 또는 시간 $ ct $ 에 멀리 떨어져 있는지를 구분하는 문제는 SZK-난이도이며, AM ∩ co-AM 내에 속한다.
• 체인이 빠르게 혼합한다는 것이 알려져 있을 경우, 동일한 문제의 복잡도는 co-NP-난이도이며, co-AM 내에 속한다.
• 체인이 시간 $ t $ 에 정상분포에 가까운지, 또는 시간 $ ct $ 에 혼합되지 않은 상태에서 멀리 떨어져 있는지를 구분하는 문제는 $ c \geq 1 $ 이면 PSPACE-완전해진다.
• YES 케이스(수락 경로 존재)에서는 혼합 시간이 $ \tau(1/4 - \delta) \leq 10D^3 2^{3n} / (1 - 4\delta) $ 이내로 유계이며, 이는 빠른 수렴을 보장한다.
• NO 케이스(수락 경로 없음)에서는 변동 거리가 $ d(t) \geq 1 - 2t/w $ 를 만족하며, 혼합 시간 $ \tau(1/4 + \delta) \geq w/4 $ 이므로 느린 혼합이 된다.
• 감소를 통해 NO 케이스의 최악의 혼합 시간과 YES 케이스의 최선의 혼합 시간 간 비율이 최소 $ c $ 이상임을 확인하여 두 경우를 구분하는 난이도를 확인한다.