[论文解读] Entropic Independence in High-Dimensional Expanders: Modified Log-Sobolev Inequalities for Fractionally Log-Concave Polynomials and the Ising Model.

Nima Anari, Vishesh Jain+3 more|arXiv (Cornell University)|Jun 8, 2021

Markov Chains and Monte Carlo Methods参考文献 15被引用 10

一句话总结

本文引入了熵独立性——一种针对纯单纯复形上分布的新概念，通过使用熵而非方差来推广谱独立性。该研究证明熵独立性等价于生成多项式的分数次对数凹性，从而导出紧致的修正对数 Sobolev 不等式，并证明当交互矩阵的算子范数小于 1 时，伊辛模型上的 Glauber 动态过程具有 $O(n\log n)$ 的混合时间，优于先前的二次方界。

ABSTRACT

We introduce a notion called entropic independence for distributions $\mu$ defined on pure simplicial complexes, i.e., subsets of size $k$ of a ground set of elements. Informally, we call a background measure $\mu$ entropically independent if for any (possibly randomly chosen) set $S$, the relative entropy of an element of $S$ drawn uniformly at random carries at most $O(1/k)$ fraction of the relative entropy of $S$, a constant multiple of its ``share of entropy.'' Entropic independence is the natural analog of spectral independence, another recently established notion, if one replaces variance by entropy. In our main result, we show that $\mu$ is entropically independent exactly when a transformed version of the generating polynomial of $\mu$ can be upper bounded by its linear tangent, a property implied by concavity of the said transformation. We further show that this concavity is equivalent to spectral independence under arbitrary external fields, an assumption that also goes by the name of fractional log-concavity. Our result can be seen as a new tool to establish entropy contraction from the much simpler variance contraction inequalities. A key differentiating feature of our result is that we make no assumptions on marginals of $\mu$ or the degrees of the underlying graphical model when $\mu$ is based on one. We leverage our results to derive tight modified log-Sobolev inequalities for multi-step down-up walks on fractionally log-concave distributions. As our main application, we establish the tight mixing time of $O(n\log n)$ for Glauber dynamics on Ising models with interaction matrix of operator norm smaller than $1$, improving upon the prior quadratic dependence on $n$.

研究动机与目标

• 开发一种新框架——熵独立性，用于分析单纯复形上的高维分布。
• 弥合基于方差的谱独立性与基于熵的分析在高维展开图中的差距。
• 为分数次对数凹分布上的多步向下-向上随机游走建立紧致的修正对数 Sobolev 不等式。
• 将伊辛模型上 Glauber 动态过程的混合时间改进至超越先前对 $n$ 的二次依赖。

提出的方法

• 将熵独立性定义为：从集合 $S$ 中随机选取一个元素时，其相对熵至多为 $S$ 总熵的 $O(1/k)$，这类似于谱独立性，但针对的是熵而非方差。
• 证明熵独立性成立当且仅当 $\mu$ 的生成多项式的变换版本被其线性切线所上界控制，该条件与凹性相关。
• 证明该凹性条件在任意外场下等价于谱独立性，这一性质被称为分数次对数凹性。
• 利用该等价性，推导出分数次对数凹分布上多步向下-向上随机游走的修正对数 Sobolev 不等式。
• 将这些不等式应用于分析交互矩阵算子范数小于 1 的伊辛模型上 Glauber 动态过程的混合时间。
• 利用底层图模型在边际或度数上无假设的特性，实现广泛适用性。

实验结果

研究问题

• RQ1 当在高维分布中用熵替代方差时，熵独立性能否作为谱独立性的有意义类比？
• RQ2 在单纯复形上分布的生成多项式满足何种条件时，其变换形式被其线性切线所上界控制？
• RQ3 在高维展开图的背景下，分数次对数凹性是否等价于在任意外场下的谱独立性？
• RQ4 熵独立性能否用于推导出分数次对数凹分布上马尔可夫链的紧致修正对数 Sobolev 不等式？
• RQ5 交互矩阵算子范数小于 1 的伊辛模型上 Glauber 动态过程的最优混合时间是多少？

主要发现

• 熵独立性等价于变换后生成多项式的凹性，而该凹性又等价于在任意外场下的谱独立性。
• 该等价性使得能够为分数次对数凹分布上的多步向下-向上随机游走导出紧致的修正对数 Sobolev 不等式。
• 该方法在交互矩阵算子范数小于 1 的伊辛模型上实现了 $O(n\log n)$ 的混合时间，优于先前的 $O(n^2)$ 界。
• 结果在不依赖底层图模型的边际或度数假设下依然成立，增强了通用性。
• 该框架可通过更简单的方差收缩不等式实现熵收缩，为分析高维马尔可夫链提供了新路径。
• 该方法通过熵与多项式凹性的视角，统一了分数次对数凹性与高维展开图的理论理解。