[论文解读] Logarithmic Sobolev inequalities in discrete product spaces: a proof by a transportation cost distance
本文通过运输成本距离方法，为离散乘积测度建立了对数索博莱夫不等式。通过引入类似 Wasserstein 的距离 $W_2$，作者证明了在 Gibbs 合成器下相对熵是压缩的，利用依赖于局部规格的常数，将条件相对熵与全局相对熵联系起来，从而在强混合或多brusin 类型条件下实现对数索博莱夫不等式。
The aim of this paper is to prove an inequality between relative entropy and the sum of average conditional relative entropies of the following form: For a fixed probability measure $q^n$ on $\mathcal X^n$, ($\mathcal X$ is a finite set), and any probability measure $p^n=\mathcal L(Y^n)$ on $\mathcal X^n$, we have \begin{equation}\label{*} D(p^n||q^n)\leq Const. \sum_{i=1}^n \Bbb E_{p^n} D(p_i(\cdot|Y_1,\dots, Y_{i-1},Y_{i+1},\dots, Y_n) || q_i(\cdot|Y_1,\dots, Y_{i-1},Y_{i+1},\dots, Y_n)), \end{equation} where $p_i(\cdot|y_1,\dots, y_{i-1},y_{i+1},\dots, y_n)$ and $q_i(\cdot|x_1,\dots, x_{i-1},x_{i+1},\dots, x_n)$ denote the local specifications for $p^n$ resp. $q^n$. The constant shall depend on the properties of the local specifications of $q^n$. Inequality (*) is meaningful in product spaces, both in the discrete and the continuous case, and can be used to prove a logarithmic Sobolev inequality for $q^n$, provided uniform logarithmic Sobolev inequalities are available for $q_i(\cdot|x_1,\dots, x_{i-1},x_{i+1},\dots, x_n)$, for all fixed $i$ and all fixed $(x_1,\dots, x_{i-1},x_{i+1},\dots, x_n)$. Inequality (*) directly implies that the Gibbs sampler associated with $q^n$ is a contraction for relative entropy. We derive inequality (*), and thereby a logarithmic Sobolev inequality, in discrete product spaces, by proving inequalities for an appropriate Wasserstein-like distance. A logarithmic Sobolev inequality is, roughly speaking, a contractivity property of relative entropy with respect to some Markov semigroup. It is much easier to prove contractivity for a distance between measures than for relative entropy, since distances satisfy the triangle inequality, and for them well known linear tools, like estimates through matrix norms can be applied.
研究动机与目标
- 通过运输成本距离框架，为离散乘积空间上的概率测度建立对数索博莱夫不等式。
- 通过证明全局与条件相对熵之间的不等式，展示 Gibbs 合成器在相对熵下是压缩的。
- 推导出对数索博莱夫不等式成立的充分条件，例如强混合性或多brusin 的唯一性条件。
- 将 $W_2$ 距离作为控制相对熵的工具进行推广，利用其度量性质，绕过熵的非线性。
提出的方法
- 引入一种类似 Wasserstein 的距离 $W_2(r^n, s^n)$，定义为所有耦合中坐标差异概率的平方和的平方根的最小值。
- 使用不等式 $W_2^2(p_I|\bar{y}_I, q_I|\bar{y}_I) \leq C \cdot \mathbb{E}\left[\sum_{\Lambda_j \subset I} W^2(p_{\Lambda_j}|\bar{Y}_{\Lambda_j}, q_{\Lambda_j}|\bar{Y}_{\Lambda_j}) \,\middle|\, \bar{Y}_I = \bar{y}_I\right]$ 来关联局部与全局距离。
- 应用引理 1，通过 $|p_{\Lambda_j}|\bar{Y}_{\Lambda_j} - q_{\Lambda_j}|\bar{Y}_{\Lambda_j}|^2 \leq m \cdot W^2(\cdot)$ 将变分距离以 $W_2$ 表示，其中块大小为 $m$。
- 采用一种 Gibbs 合成器，从集合 $\mathcal{C}_l$ 中更新大小为 $m \cdot l$ 的块，利用强混合条件控制混合时间与距离压缩。
- 通过归纳与耦合论证推导出关键不等式 $D(p_\Lambda || q_\Lambda) \leq \frac{4Cm}{\alpha^m} \cdot \sum_{j=1}^n \mathbb{E} W^2(p_{\Lambda_j}|\bar{Y}_{\Lambda_j}, q_{\Lambda_j}|\bar{Y}_{\Lambda_j})$。
- 利用辅助定理，将 $W_2^2(p_\Lambda, q_\Lambda|\bar{y}_\Lambda)$ 以 $\mathcal{I}_{ml}$ 中的块 $I$ 为指标的和进行有界，其中常数依赖于维度 $d$ 与耦合函数 $\varphi$。
实验结果
研究问题
- RQ1能否使用运输成本距离而非直接的熵估计，在离散乘积空间中证明对数索博莱夫不等式？
- RQ2在条件规格与 Gibbs 测度的背景下，$W_2$ 距离与相对熵之间有何关系？
- RQ3在局部规格满足何种条件（如强混合性或多brusin 条件）下，Gibbs 合成器会压缩相对熵？
- RQ4对数索博莱夫常数对局部混合特性与最小转移概率的依赖关系如何？
主要发现
- 本文证明了 $D(p^n || q^n) \leq C \cdot \sum_{i=1}^n \mathbb{E}_{p^n} D(p_i(\cdot|Y_{1},\dots,Y_{i-1},Y_{i+1},\dots,Y_n) || q_i(\cdot|Y_{1},\dots,Y_{i-1},Y_{i+1},\dots,Y_n))$，其中常数 $C$ 依赖于最小局部规格 $\alpha$。
- 不等式中的常数 $C$ 被有界为 $\frac{4Cm}{\alpha^m}$，当 $\alpha < 1$ 时，其在 $m$ 上呈指数衰减，这在强混合条件下改善了界。
- 对于在 $\mathcal{C}_l$ 上强混合且具有耦合函数 $\varphi$ 的测度，辅助定理保证了当 $m$ 较大时，$W_2^2(p_\Lambda, q_\Lambda|\bar{y}_\Lambda) \leq C \cdot m^d \cdot \sum_{I \in \mathcal{I}_{ml}} \mathbb{E} |p_{I\cap\Lambda}|\bar{Y}_{I\cap\Lambda} - q_{I\cap\Lambda}|\bar{Y}_{I\cap\Lambda}|^2$。
- 该证明确立了 Gibbs 合成器在相对熵下是压缩的，这在均匀局部对数索博莱夫条件下意味着对数索博莱夫不等式成立。
- 该方法通过利用三角不等式与距离上的线性工具，成功地将 $W_2$ 距离的压缩性转移到相对熵，从而绕过了熵的非线性。
- 该结果可推广至满足强混合条件的 Gibbs 测度，无需要求有限范围相互作用，从而推广了基于多brusin 唯一性条件的先前结果。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。