[论文解读] Gaussian-width gradient complexity, reverse log-Sobolev inequalities and nonlinear large deviations

Ronen Eldan|arXiv (Cornell University)|Dec 13, 2016

Markov Chains and Monte Carlo Methods参考文献 5被引用 11

一句话总结

本文引入了一种新的复杂度度量——高斯宽度梯度复杂度（Gaussian-width gradient complexity），用于离散立方体和高斯空间上的概率测度，表明低复杂度测度可被近似分解为乘积测度的混合。关键结果在高斯情形下建立了反向对数索博列夫不等式，并通过用高斯宽度替代覆盖数，改进了非线性大偏差界，且无需依赖二阶导数的有界性假设。

ABSTRACT

We prove structure theorems for measures on the discrete cube and on Gaussian space, which provide sufficient conditions for mean-field behavior. These conditions rely on a new notion of complexity for such measures, namely the Gaussian-width of the gradient of the log-density. On the cube $\{-1,1\}^n$, we show that a measure $ν$ which exhibits low complexity can be written as a mixture of measures $\{ν_θ\}_{θ\in \mathcal{I}}$ such that: i. for each $θ$, the measure $ν_θ$ is a small perturbation of $ν$ such that $\log frac{d ν_θ}{d ν}$ is a linear function whose gradient is small and, ii. $ν_θ$ is close to some product measure, in Wasserstein distance, for most $θ$. Thus, our framework can be used to study the behavior of low-complexity measures beyond approximation of the partition function, showing that those measures are roughly mixtures of product measures whose entropy is close to that of the original measure. In particular, as a corollary of our theorems, we derive a bound for the naïve mean-field approximation of the log-partition function which improves the nonlinear large deviation framework of Chatterjee and Dembo in several ways: 1. It does not require any bounds on second derivatives. 2. The covering number is replaced by the weaker notion of Gaussian-width 3. We obtain stronger asymptotics with respect to the dimension. Two other corollaries are decomposition theorems for exponential random graphs and large-degree Ising models. In the Gaussian case, we show that measures of low-complexity exhibit an almost-tight reverse Log-Sobolev inequality.

研究动机与目标

• 确定离散立方体或高斯空间上测度表现出平均场行为的充分条件。
• 基于对数密度的梯度，提出一种新的复杂度度量——高斯宽度梯度复杂度。
• 提供一个分解框架，其中低复杂度测度可被近似表示为与原测度熵几乎相同的乘积测度的混合。
• 通过去除二阶导数假设并用高斯宽度替代覆盖数，改进Chatterjee与Dembo（2016）提出的非线性大偏差框架。
• 在高斯设定下，为低复杂度测度建立反向对数索博列夫不等式。

提出的方法

• 将高斯宽度梯度复杂度定义为测度对数密度梯度的高斯宽度。
• 利用随机过程与调和延拓，建立倾斜测度与乘积测度之间Wasserstein距离的联系。
• 应用伊藤公式，推导与对数密度及其梯度相关的局部鞅的随机微分方程（SDEs）。
• 通过小的线性扰动对原测度进行倾斜，确保倾斜后梯度的大小较小。
• 利用高斯宽度控制覆盖复杂度，替代Chatterjee与Dembo（2016）中使用的覆盖数。
• 通过将低复杂度测度的熵以高斯宽度为界，推导出反向对数索博列夫不等式。

实验结果

研究问题

• RQ1 在何种条件下，离散立方体上的测度可被近似为与原测度熵相近的乘积测度的混合？
• RQ2 如何通过用高斯宽度替代覆盖数，改进非线性大偏差框架？
• RQ3 高斯宽度梯度复杂度在刻画伊辛模型与指数随机图中的平均场行为中起什么作用？
• RQ4 能否在高斯空间中为低复杂度测度建立反向对数索博列夫不等式？
• RQ5 在不假设二阶导数有界性的前提下，对对数配分函数的朴素平均场近似能被改进到何种程度？

主要发现

• 在离散立方体上具有低高斯宽度梯度复杂度的测度，可被分解为乘积测度的混合，其中每个成分均为原测度的小倾斜。
• 在倾斜族的大多数参数下，每个倾斜测度与乘积测度之间的Wasserstein距离都很小。
• 在分解中，原测度的熵被保持在较小误差范围内，证实了平均场行为。
• 该框架通过消除对二阶导数有界性的需求，改进了Chatterjee与Dembo（2016）的非线性大偏差结果。
• 覆盖数被更弱的高斯宽度概念所取代，从而在高维下获得更强的渐近界。
• 在高斯情形下，低复杂度测度满足一个近乎紧致的反向对数索博列夫不等式，以高斯宽度量化了熵的衰减。