[논문 리뷰] Localization Schemes: A Framework for Proving Mixing Bounds for Markov Chains

Yuansi Chen, Ronen Eldan|arXiv (Cornell University)|2022. 03. 08.

Markov Chains and Monte Carlo Methods인용 수 6

한 줄 요약

이 논문은 마코프 체인의 혼합 시간 경계를 증명하기 위해 스펙트럴 독립성과 스토하스틱 로컬라이제이션 기법을 연결하는 통합 프레임워크인 '로컬라이제이션 스킴'을 제안한다. 확률 측도의 진화를 공간에 국한되는 마팅게일로 모델링함으로써, 이 프레임워크는 혼합 시간 경계에 대한 간단한 마팅게일 기반 증명을 가능하게 하며, 스펙트럴 및 엔트로피 독립성에서 유래된 결과들을 복원하고 단순화한다. 이는 하드코어 모델의 최적 $O(n\log n)$ 혼합 시간과 로그-볼록 샘플링에서 최적의 KL-발산 감소를 포함한다.

ABSTRACT

Two recent and seemingly-unrelated techniques for proving mixing bounds for Markov chains are: (i) the framework of Spectral Independence, introduced by Anari, Liu and Oveis Gharan, and its numerous extensions, which have given rise to several breakthroughs in the analysis of mixing times of discrete Markov chains and (ii) the Stochastic Localization technique which has proven useful in establishing mixing and expansion bounds for both log-concave measures and for measures on the discrete hypercube. In this paper, we introduce a framework which connects ideas from both techniques. Our framework unifies, simplifies and extends those two techniques. In its center is the concept of a localization scheme which, to every probability measure, assigns a martingale of probability measures which localize in space as time evolves. As it turns out, to every such scheme corresponds a Markov chain, and many chains of interest appear naturally in this framework. This viewpoint provides tools for deriving mixing bounds for the dynamics through the analysis of the corresponding localization process. Generalizations of concepts of Spectral Independence and Entropic Independence naturally arise from our definitions, and in particular we recover the main theorems in the spectral and entropic independence frameworks via simple martingale arguments (completely bypassing the need to use the theory of high-dimensional expanders). We demonstrate the strength of our proposed machinery by giving short and (arguably) simpler proofs to many mixing bounds in the recent literature, including giving the first $O(n \log n)$ bound for the mixing time of Glauber dynamics on the hardcore-model (of arbitrary degree) in the tree-uniqueness regime.

연구 동기 및 목표

• 마코프 체인의 혼합 경계를 증명하기 위해 서로 다소 관련이 없는 것으로 보이는 두 기법—스펙트럴 독립성과 스토하스틱 로컬라이제이션—을 통합하는 것.
• 마팅게일 유사 로컬라이제이션 과정을 기반으로 하는 일반적인 프레임워크를 개발하여 자연스럽게 마코프 동역학을 유도하는 것.
• 스펙트럴 및 엔트로피 독립성 분야의 기존 결과들을 통합된 마팅게일 프레임워크로 재구성함으로써 단순화하고 확장하는 것.
• 기존의 알려진 혼합 경계에 대한 새로운 짧은 증명을 제공하고, 하드코어 모델 및 이징 모델과 같은 핵심 모델에 대해 최적의 혼합 시간 경계를 유도하는 것.

제안 방법

• 공간에 국한되는 시간 인덱스가 부여된 확률 측도의 마팅게일인 '로컬라이제이션 스킴'의 개념을 도입하며, 각 스킴은 마코프 체인에 대응한다.
• 선형 기울기 로컬라이제이션을 클래스로 정의하여 스토하스틱 로컬라이제이션을 일반화하고, 분산 및 엔트로피 감소의 마팅게일 분석을 가능하게 한다.
• 두브의 선택 정지 정리와 마팅게일 수렴 정리를 사용하여 스펙트럴 갭과 수정된 로그-소볼레프 상수에 대한 경계를 도출한다.
• 고차원 확장자 이론을 회피하고, 스펙트럴 독립성을 통한 엔트로피 안정성과 감소를 증명하기 위해 프레임워크를 적용한다.
• 로컬라이제이션 과정을 분석함으로써 제한된 가우시안 오라클을 통한 샘플링에 대한 KL-발산 감소 경계를 유도한다.
• 로컬라이제이션 과정과 로그-소볼레프 부등식 및 파인카르레 부등식과 같은 함수적 부등식 간의 연결을 수립한다.

실험 결과

연구 질문

• RQ1 스펙트럴 독립성과 스토하스틱 로컬라이제이션은 마코프 체인의 혼합 경계를 증명하기 위해 단일 프레임워크 아래 통합될 수 있는가?
• RQ2 고차원 확장자 이론을 회피하고, 스펙트럴 및 엔트로피 독립성을 증명하기 위해 마팅게일 추론을 사용할 수 있는가?
• RQ3 로컬라이제이션 스킴은 하드코어 모델의 Glauber 동역학에서 최적 혼합 시간 경계를 유도하는 데 어떤 역할을 하는가?
• RQ4 이 프레임워크는 $\exp(n)$-워밍 스타트 조건 하에서 로그-볼록 샘플링에 대해 최적의 KL-발산 감소 경계를 도출할 수 있는가?
• RQ5 이 프레임워크는 최근의 비임계 이징 모델과 그들의 로그-소볼레프 부등식에 대한 결과들을 복원하고 단순화하는가?

주요 결과

• 논문은 트리 유일성 영역에서 Glauber 동역학에 대해 하드코어 모델에 대한 첫 번째 $O(n\log n)$ 혼합 시간 경계를 확립하며, 이는 임의의 차수에 대해 유효하다.
• 외부 필드가 임의일 때도 유일성 영역에서 이징 모델에 대해 최적 혼합 경계를 증명하여 오랫동안 열려있던 문제를 해결한다.
• 제한된 가우시안 오라클을 통한 로그-볼록 샘플링에서 최적의 KL-발산 감소를 달성하며, 임의의 $\exp(n)$-워밍 스타트 조건 하에서도 혼합 시간이 유계롭다.
• 근접 임계 페로자성 이징 모델에 대해 로그-소볼레프 부등식을 증명하였으며, 바우어슈미트와 다갈리에르의 최근 결과를 더 단순한 방식으로 복원한다.
• 고차원 확장자 이론을 필요로 하지 않고, 기본적인 마팅게일 추론을 통해 스펙트럴 및 엔트로피 독립성의 모든 주요 정리를 복원한다.
• 최근 문헌에서의 몇 가지 결과에 대해 짧고 자가 포함된 증명을 제공하며, 로컬라이제이션 스킴 프레임워크의 강력함과 일반성을 입증한다.