[논문 리뷰] Entropic Independence II: Optimal Sampling and Concentration via Restricted Modified Log-Sobolev Inequalities

Nima Anari, Vishesh Jain외 3명|arXiv (Cornell University)|2021. 11. 05.

Markov Chains and Monte Carlo Methods인용 수 5

한 줄 요약

이 논문은 일반 그래프에서 하드코어 및 이징 모델에 대해 최대 차수 Δ에 관계없이 거의 선형 시간 샘플링을 달성하기 위해 제한된 수정 로그-소볼레프 부등식을 도입한다. 정상 분포 근처의 엔트로피 수축과 스펙트럼 분석을 활용하여, 최적의 혼합 시간 Õδ(n)과 날카운 농도 경계를 확보함으로써 고차수 그래프 환경에서 오랫동안 미해결이었던 문제를 해결한다.

ABSTRACT

We introduce a framework for obtaining tight mixing times for Markov chains based on what we call restricted modified log-Sobolev inequalities. Modified log-Sobolev inequalities (MLSI) quantify the rate of relative entropy contraction for the Markov operator, and are notoriously difficult to establish. However, infinitesimally close to stationarity, entropy contraction becomes equivalent to variance contraction, a.k.a. a Poincare inequality, which is significantly easier to establish through, e.g., spectral analysis. Motivated by this observation, we study restricted modified log-Sobolev inequalities that guarantee entropy contraction not for all starting distributions, but for those in a large neighborhood of the stationary distribution. We show how to sample from the hardcore and Ising models on $n$-node graphs that have a constant $\\delta$ relative gap to the tree-uniqueness threshold, in nearly-linear time $\\widetilde O_{\\delta}(n)$. Notably, our bound does not depend on the maximum degree $\\Delta$, and is therefore optimal even for high-degree graphs. This improves on prior mixing time bounds of $\\widetilde O_{\\delta, \\Delta}(n)$ and $\\widetilde O_{\\delta}(n^2)$, established via (non-restricted) modified log-Sobolev and Poincare inequalities respectively. We further show that optimal concentration inequalities can still be achieved from the restricted form of modified log-Sobolev inequalities. To establish restricted entropy contraction, we extend the entropic independence framework of Anari, Jain, Koehler, Pham, and Vuong to the setting of distributions that are spectrally independent under a restricted set of external fields. We also develop an orthogonal trick that might be of independent interest: utilizing Bernoulli factories we show how to implement Glauber dynamics updates on high-degree graphs in $O(1)$ time, assuming standard adjacency array representation of the graph.

연구 동기 및 목표

• 고차수 그래프에서의 글라우버 동역학에 대한 이론적 기대와 알고리즘적 경계 사이의 격차를 메우기 위해.
• 최대 차수 Δ에 관계없이 트리 유일성 하드코어 및 이징 모델에 대해 최적의 샘플링 시간 Õδ(n)를 달성하기 위해.
• 제한된 엔트로피 수축 하에서 리프시츠 함수에 대한 날카운 농도 부등식을 수립하기 위해.
• 고차수 그래프에서 베르누이 팩토리들을 통해 O(1) 시간 내에 글라우버 동역학 업데이트를 가능하게 하는 프레임워크를 개발하기 위해.
• 제한된 외부 필드 하에서 엔트로피 독립성 프레임워크를 스펙트럼 독립성으로 확장하기 위해.

제안 방법

• 정상 분포 근처에서만 엔트로피 수축을 보장하는 제한된 수정 로그-소볼레프 부등식을 도입하기 위해.
• 정상 분포 근처의 분포에 대해 엔트로피와 분산 수축의 등가성(파인카레 부등식)을 활용하여 분석을 단순화하기 위해.
• 스펙트럼 기법과 파인카레 유형 경계를 적용하여 하드코어 및 이징 모델에 대한 제한된 엔트로피 수축을 확립하기 위해.
• 베르누이 팩토리들을 활용하여 O(1) 시간 내에 글라우버 동역학 업데이트를 구현하기 위해(근접한 이웃 샘플링이 O(1)로 가정함).
• 제한된 외부 필드 하에서 스펙트럼 독립성을 다룰 수 있도록 엔트로피 독립성 프레임워크를 확장하기 위해.
• 허브스트 추론과 운반-엔트로피 부등식을 활용하여 제한된 MLSI에서 하이퍼지수적 농도 경계를 유도하기 위해.

실험 결과

연구 질문

• RQ1 고차수 그래프에서 하드코어 모델의 글라우버 동역학에 대해 Õδ(n) 혼합 시간을 달성할 수 있는가?
• RQ2 제한된 수정 로그-소볼레프 부등식은 전역 부등식보다 더 날카운 샘플링 및 농도 경계를 제공할 수 있는가?
• RQ3 최대 차수 Δ에 관계없이 하드코어 및 이징 모델에서 샘플링을 수행할 수 있는가?
• RQ4 제한된 엔트로피 수축 하에서 리프시츠 함수에 대해 강력한 측도의 농도를 유지할 수 있는가?
• RQ5 베르누이 팩토리들을 사용하여 고차수 그래프에서 효율적인 O(1) 글라우버 업데이트를 구현할 수 있는가?

주요 결과

• 이 논문은 n개 노드를 가진 그래프에서 최대 차수 Δ에 관계없이 트리 유일성 임계점까지의 갭 δ가 일정할 경우 하드코어 모델에 대해 Õδ(n) 혼합 시간을 달성한다.
• 이징 모델의 경우, 동일한 Õδ(n) 혼합 시간이 유일성 임계점까지의 δ-간격 하에서 달성되며, Δ에 대한 의존성이 없다.
• 리프시츠 함수에 대한 최적의 농도가 하이퍼지수 꼬리 경계 exp(−ct²/κ²n) 형태로 확립되며, 여기서 c는 오직 δ에만 의존한다.
• 이 프레임워크는 근접한 이웃 샘플링이 O(1)로 가정될 경우, 고차수 그래프에서 글라우버 동역학 업데이트를 O(1) 시간 내에 가능하게 한다.
• 제한된 수정 로그-소볼레프 부등식이 전역 MLSI가 실패하는 경우에도 최적의 샘플링과 농도를 유도함을 보였다.
• 이 결과들은 고차수 그래프에서 거의 선형 혼합 시간에 대한 오랜 동안 미해결이었던 문제를 해결하며, 이전의 Õδ,Δ(n) 및 Õδ(n²) 경계를 향상시킨다.