[논문 리뷰] Lifting Markov Chains To Mix Faster: Limits and Opportunities

Simon Apers, Francesco Ticozzi외 1명|arXiv (Cornell University)|2017. 05. 15.

Markov Chains and Monte Carlo Methods참고 문헌 24인용 수 4

한 줄 요약

이 논문은 확장된 상태 공간을 통해 局소 기억을 도입함으로써 라이프트드 마르코프 체인의 혼합 속도 향상이 언제이고 어떻게 이루어지는지 분석한다. 혼합 시간 경계가 두 가지 조건에 매우 민감하게 의존한다는 점을 보여주며, 즉 체인이 국소적으로 초기화 가능한지 여부와 목표 분포가 모든 초기화 조건에서 불변인지 여부이다. 핵심 발견은 혼합 시간에 대한 도전 경계가 오직 국소 초기화가 제한되거나 불변성이 강제될 경우에만 발생하며, 그렇지 않으면 혼합이 직경 시간(diameter time) 내에 일어나므로 표준 체인에 비해 가속화되지 않는다는 것이다.

ABSTRACT

Lifted Markov chains are Markov chains on graphs with added local "memory" and can be used to mix towards a target distribution faster than their memoryless counterparts. Upper and lower bounds on the achievable performance have been provided under specific assumptions. In this paper, we analyze which assumptions and constraints are relevant for mixing, and how changing these assumptions affects those bounds. Explicitly, we find that requesting mixing on either the original or the full lifted graph, and allowing for reducible lifted chains or not, have no essential influence on mixing time bounds. On the other hand, allowing for suitable initialization of the lifted dynamics and/or imposing invariance of the target distribution for any initialization do significantly affect the convergence performance. The achievable convergence speed for a lifted chain goes from diameter-time to no acceleration over a standard Markov chain, with conductance bounds limiting the effectiveness of the intermediate cases. In addition, we show that the relevance of imposing ergodic flows depends on the other criteria. The presented analysis allows us to clarify in which scenarios designing lifted dynamics can lead to better mixing, and provide a flexible framework to compare lifted walks with other acceleration methods.

연구 동기 및 목표

• 라이프트드 마르코프 체인의 혼합 속도 향상 가능성을 결정짓는 제약 조건을 규명하는 것.
• 혼합 속도 향상의 한계 또는 가능성을 규정하는 도전 경계의 역할을 명확히 하는 것.
• 라이프트드 체인이 이득이 없거나 중간 정도의 가속화를 제공하거나 최적의 직경 시간 혼합을 가능하게 하는 상황을 비교하는 것.
• 양자 워크와 같은 다른 가속화 방법과의 공정한 비교를 위한 프레임워크를 수립하는 것.
• 에르고딕 플로우와 기약 가능성의 영향을 라이프트드 다이내믹스에서 혼합 시간 경계에 미치는 영향을 규명하는 것.

제안 방법

• 국소 초기화(s), 목표 분포의 불변성(i), 에르고딕 플로우(e), 기약 가능성(r), 초기화 제약(δ)의 다섯 가지 제약 조건을 기반으로 라이프트드 마르코프 체인의 상황을 분류하는 것.
• 도전 기반 분석을 통해 이러한 제약 조합에 따른 혼합 시간 τ(1/4)의 하한을 유도하는 것.
• 도전 경계가 오직 국소 초기화가 금지되거나 목표 분포의 불변성이 요구될 경우에만 성립한다는 것을 모순과 기존 경계와의 비교를 통해 증명하는 것.
• 예를 들어 확률적 브릿지(stochastic bridges)를 구축하여 (s)와 (i)가 모두 완화될 경우 직경 시간 혼합이 발생할 수 있음을 보여주는 것.
• 스펙트럼 및 커플링 기법을 사용하여 혼합 시간을 그래프의 도전도 Φ와 직경 D_G와 연결하며, 중간 경우에서 도전도 Φ가 직경보다 더 날카로운 경계를 제공한다는 것을 보여주는 것.
• 에르고딕 플로우와 초기화 제약 조건 간의 상호작용을 분석하여, 초기화가 탄력적이라면 에르고딕 플로우 자체는 성능을 제한하지 않는다는 것을 보여주는 것.

실험 결과

연구 질문

• RQ1 라이프트드 마르코프 체인이 표준 마르코프 체인보다 더 빠른 혼합을 달성할 수 있는 조건은 무엇인가?
• RQ2 국소 초기화와 목표 분포의 불변성이라는 가정이 얻을 수 있는 혼합 시간 경계에 어떤 영향을 미치는가?
• RQ3 도전도가 라이프트드 체인에서 혼합 시간 가속의 기본 한계를 결정하는 데 어떤 역할을 하는가?
• RQ4 라이프트드 체인이 직경 시간 내에 혼합을 가능하게 할 수 있는가? 어떤 조건에서 그러한 현상이 발생하는가?
• RQ5 에르고딕 플로우와 기약 가능성은 라이프트드 체인이 혼합 속도 향상에 효과적으로 기여하는 데 어떤 영향을 미치는가?

주요 결과

• 국소 초기화나 목표 분포의 불변성이 요구되지 않는 경우, 혼합은 직경 시간 내에 일어나므로 표준 마르코프 체인에 비해 가속화되지 않는다는 점.
• 도전도 경계 1/(8Φ) 또는 1/(4Φ)는 오직 국소 초기화가 제한되거나 불변성이 강제될 경우에만 발생하며, 더 날카로운 경계 1/(8Φ)는 (i) 또는 (i,e) 조건에서 성립한다.
• 국소 초기화 제한(s)과 불변성(i)을 동시에 요구할 경우 라이프트드 체인이 효과가 없어지며, 표준 체인보다도 가속화되지 않는다는 점.
• 에르고딕 플로우(e)가 존재하더라도 초기화가 탄력적이라면 혼합 시간에 하한을 둔다. 그러나 초기화가 제한될 경우에만 하한이 발생한다.
• 목표 분포의 불변성이 요구될 경우, 어떤 라이프트드 체인이라도 도전도 경계 1/(8Φ)를 초월할 수 없으며, 이는 조건이 완화되더라도 마찬가지다.
• 프레임워크는 오직 두 가지 제약 조건인 (s)와 (i)만이 도전도 경계에 결정적인 영향을 미치며, 기약 가능성이나 에르고딕성과 같은 다른 요소들은 가속화의 기본 한계에 거의 영향을 주지 않는다는 점을 명확히 한다.