[论文解读] Entropic Independence II: Optimal Sampling and Concentration via Restricted Modified Log-Sobolev Inequalities

Nima Anari, Vishesh Jain+3 more|arXiv (Cornell University)|Nov 5, 2021

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

本文引入受限修改对数 Sobolev 不等式，以实现一般图上硬核模型与 Ising 模型的近乎线性时间采样，且不依赖于最大度 Δ。通过利用平稳分布附近的熵收缩与谱分析，作者实现了最优混合时间 Õδ(n) 与紧密的浓度界限，解决了高阶图设置下长期存在的开放问题。

ABSTRACT

We introduce a framework for obtaining tight mixing times for Markov chains based on what we call restricted modified log-Sobolev inequalities. Modified log-Sobolev inequalities (MLSI) quantify the rate of relative entropy contraction for the Markov operator, and are notoriously difficult to establish. However, infinitesimally close to stationarity, entropy contraction becomes equivalent to variance contraction, a.k.a. a Poincare inequality, which is significantly easier to establish through, e.g., spectral analysis. Motivated by this observation, we study restricted modified log-Sobolev inequalities that guarantee entropy contraction not for all starting distributions, but for those in a large neighborhood of the stationary distribution. We show how to sample from the hardcore and Ising models on $n$-node graphs that have a constant $\\delta$ relative gap to the tree-uniqueness threshold, in nearly-linear time $\\widetilde O_{\\delta}(n)$. Notably, our bound does not depend on the maximum degree $\\Delta$, and is therefore optimal even for high-degree graphs. This improves on prior mixing time bounds of $\\widetilde O_{\\delta, \\Delta}(n)$ and $\\widetilde O_{\\delta}(n^2)$, established via (non-restricted) modified log-Sobolev and Poincare inequalities respectively. We further show that optimal concentration inequalities can still be achieved from the restricted form of modified log-Sobolev inequalities. To establish restricted entropy contraction, we extend the entropic independence framework of Anari, Jain, Koehler, Pham, and Vuong to the setting of distributions that are spectrally independent under a restricted set of external fields. We also develop an orthogonal trick that might be of independent interest: utilizing Bernoulli factories we show how to implement Glauber dynamics updates on high-degree graphs in $O(1)$ time, assuming standard adjacency array representation of the graph.

研究动机与目标

• 弥合高阶图中 Glauber 动力学的理论期望与算法界之间的差距。
• 实现树唯一性硬核与 Ising 模型的最优采样时间 Õδ(n)，且不依赖于最大度 Δ。
• 在受限熵收缩下，为利普希茨函数建立紧密的浓度不等式。
• 开发一种框架，通过伯努利工厂实现在高阶图上 Glauber 动力学更新的 O(1) 时间复杂度。
• 将熵独立性框架扩展至受限外部场下的谱独立性。

提出的方法

• 引入仅在平稳分布邻域内保证熵收缩的受限修改对数 Sobolev 不等式。
• 利用平稳分布附近熵与方差收缩（Poincaré 不等式）之间的等价性，简化分析。
• 应用谱技术与 Poincaré 类型界，建立硬核与 Ising 模型的受限熵收缩。
• 利用伯努利工厂实现在 O(1) 时间内完成 Glauber 动力学更新，假设邻居采样为 O(1) 时间。
• 将熵独立性框架扩展至处理受限外部场下的谱独立性。
• 利用 Herbst 论证与传输-熵不等式，从受限 MLSI 推导出次高斯浓度界限。

实验结果

研究问题

• RQ1 我们能否在高阶图的硬核模型中实现 Glauber 动力学的 Õδ(n) 混合时间？
• RQ2 受限修改对数 Sobolev 不等式是否能提供比全局不等式更紧的采样与浓度界限？
• RQ3 是否可能实现与最大度 Δ 无关的硬核与 Ising 模型采样时间？
• RQ4 在受限熵收缩下，利普希茨函数的强浓度测度是否仍能保持？
• RQ5 能否通过伯努利工厂在高阶图上实现高效的 O(1) Glauber 更新？

主要发现

• 本文在 n 个节点的图上实现了硬核模型的 Õδ(n) 混合时间，且当与树唯一性阈值的间隙 δ 为常数时，该结果不依赖于最大度 Δ。
• 对于 Ising 模型，同样在与唯一性阈值存在 δ 间隙的条件下实现了 Õδ(n) 混合时间，且不依赖于 Δ。
• 建立了利普希茨函数的最优浓度，其次高斯尾部界限形式为 exp(−ct²/κ²n)，其中 c 仅依赖于 δ。
• 该框架通过伯努利工厂实现在高阶图上 Glauber 动力学更新的 O(1) 时间复杂度，前提是邻居采样为 O(1) 时间。
• 证明了受限修改对数 Sobolev 不等式即使在全局 MLSI 失效时，仍能同时保证最优采样与浓度。
• 结果解决了高阶图中近线性混合时间的开放问题，优于先前的 Õδ,Δ(n) 与 Õδ(n²) 界。