[论文解读] Entropy Jumps for Radially Symmetric Random Vectors

Thomas A. Courtade|arXiv (Cornell University)|Aug 18, 2016

Stochastic processes and financial applications参考文献 23被引用 4

一句话总结

该论文为维度 $ d \geq 2 $ 的独立同分布径向对称随机向量建立了熵跃升的定量下界，表明在缩放卷积下熵的增加至少为 $ C_\varepsilon(X) D(X)^{1+\varepsilon} $，其中 $ D(X) $ 是相对于具有相同协方差的高斯分布的相对熵。该结果利用了朗道方程的熵产生估计，避免了谱隙或对数凹性等强正则性假设，转而依赖于径向对称性。

ABSTRACT

We establish a quantitative bound on the entropy jump associated to the sum of independent, identically distributed (IID) radially symmetric random vectors having dimension greater than one. Following the usual approach, we first consider the analogous problem of Fisher information dissipation, and then integrate along the Ornstein-Uhlenbeck semigroup to obtain an entropic inequality. In a departure from previous work, we appeal to a result by Desvillettes and Villani on entropy production associated to the Landau equation. This obviates strong regularity assumptions, such as presence of a spectral gap and log-concavity of densities, but comes at the expense of radial symmetry. As an application, we give a quantitative estimate of the deficit in the Gaussian logarithmic Sobolev inequality for radially symmetric functions.

研究动机与目标

• 为维度 $ d \geq 2 $ 的独立同分布径向对称随机向量之和建立熵产生的定量下界。
• 为径向对称密度的高斯对数索博列夫不等式中的缺陷提供非渐近、显式的估计。
• 通过避免谱隙或对数凹性等强正则性假设，克服先前工作的局限性。
• 将奥恩斯坦-乌伦贝克半群下的熵耗散与非高斯初始数据的朗道方程熵产生相联系。

提出的方法

• 该方法首先分析奥恩斯坦-乌伦贝克半群沿熵的费雪信息耗散，利用熵与费雪信息之间的对偶性。
• 应用德斯维莱特和维拉尼关于朗道方程中熵产生的结果，以避免对谱隙或对数凹性的假设。
• 该方法利用径向对称性，推导出熵跃升 $ h(\frac{1}{\sqrt{2}}(X+X_*)) - h(X) $ 的非平凡下界。
• 关键步骤涉及沿半群对费雪信息耗散进行积分，以恢复一个熵不等式。
• 分析使用了对密度 $ f $ 的正则性条件，通过矩和光滑性量化，以定义常数 $ C_\varepsilon(X) $。
• 证明依赖于测度变换和矩界，特别是假设 $ \mathbb{E}|X|^{4+\delta} < \infty $ 对于 $ \delta > 0 $。

实验结果

研究问题

• RQ1 能否在不假设谱隙或对数凹性的情况下，为独立同分布的径向对称随机向量建立熵产生的定量下界？
• RQ2 熵跃升如何随相对熵缺陷 $ D(X) $ 变化，特别是在高维情况下？
• RQ3 动能理论（朗道方程）的结果在多大程度上能为高维概率中的信息理论不等式提供启示？
• RQ4 是否可能推导出仅依赖于密度正则性和矩的统一熵产生下界？

主要发现

• 熵跃升满足 $ h(\frac{1}{\sqrt{2}}(X+X_*)) - h(X) \geq C_\varepsilon(X) D(X)^{1+\varepsilon} $，对任意 $ \varepsilon > 0 $ 成立，其中 $ C_\varepsilon(X) $ 依赖于 $ \varepsilon $、$ f $ 的正则性以及 $ X $ 的有限个矩。
• 若 $ \mathbb{E}|X|^{4+\delta} < \infty $ 对某个 $ \delta > 0 $ 成立，则 $ C_{2/\delta}(X) > 0 $，确保了非退化的下界。
• 该结果无需对数凹性或谱隙，仅依赖于径向对称性和矩条件。
• 该方法避免了先前工作中使用的紧致性论证，从而得到显式且定量的界。
• 除非 $ X $ 为高斯分布，否则熵跃升严格为正，且该界量化了卷积下熵增加的速度。
• 该分析将朗道方程的熵产生与熵中心极限定理联系起来，为稳定性估计提供了新途径。