[论文解读] Links between the Logarithmic Sobolev Inequality and the convolution inequalities for Entropy and Fisher Information

Thomas A. Courtade|arXiv (Cornell University)|Aug 18, 2016

Point processes and geometric inequalities参考文献 22被引用 9

一句话总结

本文建立了一项无维数的插值不等式，将对数 Sobolev 不等式（LSI）、熵幂不等式（EPI）和费雪信息不等式（FII）联系起来，表明 LSI 的缺陷满足卷积不等式，并控制了熵和费雪信息中心极限定理中的收敛性。关键结果是一个统一的不等式，可在这些基本的信息论关系之间实现插值，从而实现新的稳定性结果并改进了超收缩估计。

ABSTRACT

Relative to the Gaussian measure on $\mathbb{R}^d$, entropy and Fisher information are famously related via Gross' logarithmic Sobolev inequality (LSI). These same functionals also separately satisfy convolution inequalities, as proved by Stam. We establish a dimension-free inequality that interpolates among these relations. Several interesting corollaries follow: (i) the deficit in the LSI satisfies a convolution inequality itself; (ii) the deficit in the LSI controls convergence in the entropic and Fisher information central limit theorems; and (iii) the LSI is stable with respect to HWI jumps (i.e., a jump in any of the convolution inequalities associated to the HWI functionals). Another consequence is that the convolution inequalities for Fisher information and entropy powers are reversible in general, up to a factor depending on the Stam defect. An improved form of Nelson's hypercontractivity estimate also follows. Finally, we speculate on the possibility of an analogous reverse Brunn-Minkowski inequality and a related upper bound on surface area associated to Minkowski sums.

研究动机与目标

• 建立一个统一的、无维数的不等式，实现对数 Sobolev 不等式（LSI）、熵幂不等式（EPI）和费雪信息不等式（FII）之间的插值。
• 证明 LSI 的缺陷满足卷积不等式，从而量化 LSI 在卷积操作下的稳定性。
• 表明 LSI 的缺陷控制了熵和费雪信息中心极限定理中的收敛速率。
• 通过利用新插值框架对 Nelson 不等式进行精细化分析，推导出改进的超收缩估计。
• 推测几何类比，如潜在的反向 Brunn-Minkowski 不等式和 Minkowski 和的表面积界。

提出的方法

• 推导出一个涉及相对熵 $ D(X) $、相对费雪信息 $ I(X) $ 和加权和 $ \sqrt{\theta}X + \sqrt{\bar{\theta}}Y $ 的熵的一般插值不等式，适用于独立、中心化的随机向量。
• 利用 LSI 与 Stam 缺陷 $ \mathsf{p}(X) = \frac{1}{d}N(X)J(X) \geq 1 $ 之间的等价性，通过 de Bruijn 恒等式和函数演算将其与 EPI 和 FII 联系起来。
• 利用 LSI 缺陷 $ \delta_{\mathsf{LSI}}(X) $ 的平移不变性，以简化并推广插值不等式。
• 采用变分法，并在 Ornstein-Uhlenbeck 半群下对 $ L^p $ 空间中的范数进行微分，以推导出精确的超收缩估计。
• 通过利用插值不等式和“Stam 缺陷”作为控制参数的概念，建立反向 EPI 和 FII。
• 利用函数的光滑性及范数的可微性，推导出微分不等式，从而得到改进的超收缩界。

实验结果

研究问题

• RQ1 LSI 的缺陷是否可被证明满足卷积不等式，从而量化其在卷积下的稳定性？
• RQ2 LSI 的缺陷是否控制了熵和费雪信息中心极限定理中的收敛速率？
• RQ3 经典 EPI 和 FII 是否可被反向，其反向不等式依赖于 Stam 缺陷 $ \mathsf{p}(X) $，在何种条件下成立？
• RQ4 是否存在该插值不等式的几何类比，例如 Minkowski 和的反向 Brunn-Minkowski 不等式？
• RQ5 能否通过将 LSI 缺陷作为指数中的定量项，来改进 Nelson 的超收缩估计？

主要发现

• LSI 的缺陷满足卷积不等式：$ \theta D(X) + \bar{\theta}D(Y) \leq \bar{\theta}\delta_{\mathsf{LSI}}(X) + \theta\delta_{\mathsf{LSI}}(Y) + D(\sqrt{\theta}X + \sqrt{\bar{\theta}}Y) $，该不等式量化了 LSI 在卷积下的稳定性。
• LSI 的缺陷控制了熵和费雪信息中心极限定理中的收敛性，提供了收敛速率的定量估计。
• EPI 和 FII 可在依赖于 Stam 缺陷 $ \mathsf{p}(X) $ 的因子范围内实现反向，且反向不等式在相同的插值框架下成立。
• 推导出 Nelson 超收缩估计的改进形式：$ \|P_t f\|^{\bar{\theta}}_{L^{q(t)}(\gamma)} \|P_t g\|^{\theta}_{L^{q(t)}(\gamma)} \leq \exp\left(-\frac{2t}{p p'} E_{p,\theta}(f,g) + o(t)\right) \|f\|^{\bar{\theta}}_{L^p(\gamma)} \|g\|^{\theta}_{L^p(\gamma)} $，其中 $ E_{p,\theta}(f,g) $ 衡量插值不等式中的缺陷。
• 本文推测存在一个几何类比：Minkowski 和可能存在潜在的反向 Brunn-Minkowski 不等式，其中表面积比由个体比值的加权几何平均所界定。