[论文解读] Entropy and the fourth moment phenomenon

Ivan Nourdin, Giovanni Peccati+1 more|arXiv (Cornell University)|Apr 4, 2013

Random Matrices and Applications参考文献 47被引用 4

一句话总结

该论文提出了一种基于熵的新方法，利用Stein因子和de Bruijn恒等式，推导出高斯混沌向量的定量总变差界。该研究建立了显式的、与混沌阶数无关的总变差收敛速率，与光滑距离的速率相匹配，解决了高斯场非线性泛函多维四阶矩现象中的一个开放问题。

ABSTRACT

We develop a new method for bounding the relative entropy of a random vector in terms of its Stein factors. Our approach is based on a novel representation for the score function of smoothly perturbed random variables, as well as on the de Bruijn's identity of information theory. When applied to sequences of functionals of a general Gaussian field, our results can be combined with the Carbery-Wright inequality in order to yield multidimensional entropic rates of convergence that coincide, up to a logarithmic factor, with those achievable in smooth distances (such as the 1-Wasserstein distance). In particular, our findings settle the open problem of proving a quantitative version of the multidimensional fourth moment theorem for random vectors having chaotic components, with explicit rates of convergence in total variation that are independent of the order of the associated Wiener chaoses. The results proved in the present paper are outside the scope of other existing techniques, such as for instance the multidimensional Stein's method for normal approximations.

研究动机与目标

• 开发一种新的信息论方法，利用Stein因子和de Bruijn恒等式来界定随机向量的相对熵。
• 解决在高斯场的混沌泛函中，获得显式、与阶数无关的多维四阶矩定理总变差收敛速率的开放问题。
• 将现有技术扩展至经典Stein方法和光滑距离近似范围之外。
• 利用Malliavin微积分和Carbery-Wright不等式，在高维、非线性设定下控制熵和总变差距离。
• 为有限Wiener混沌中泛函序列建立精确的、定量的熵中心极限定理。

提出的方法

• 通过广义分部积分公式，推导出相对熵关于Stein因子的新表示形式。
• 应用de Bruijn恒等式，将相对熵沿Ornstein-Uhlenbeck半群的导数与扰动向量的Fisher信息联系起来。
• 利用Malliavin微积分，表达Wiener混沌中泛函的Stein矩阵，特别是通过Malliavin导数内积的条件期望。
• 利用超收缩性和Stein矩阵的矩估计，建立总变差距离的统一有界性。
• 将Carbery-Wright不等式与熵界结合，控制混沌泛函的尾部行为。
• 优化熵和总变差估计中的参数，推导出与混沌阶数无关的显式收敛速率。

实验结果

研究问题

• RQ1 能否仅通过其Stein因子和de Bruijn恒等式来界定高维随机向量的相对熵？
• RQ2 在有限Wiener混沌中收敛于高斯向量的泛函序列的总变差收敛速率是什么？
• RQ3 能否利用熵方法推导出多维四阶矩定理的显式、与混沌阶数无关的速率？
• RQ4 在非线性、非i.i.d.设定下，Stein因子和de Bruijn公式在多大程度上可以替代经典Stein方法？
• RQ5 Carbery-Wright不等式与基于熵的界如何相互作用，以在高维混沌中获得精确的收敛速率？

主要发现

• 论文建立了基于Stein因子的相对熵新表示形式，使得可通过矩和协方差信息精确控制熵。
• 通过Stein矩阵和de Bruijn恒等式，推导出适用于任意具有有限二阶矩的随机向量的总变差距离的一般界。
• 对于有限Wiener混沌中泛函的序列，其与高斯目标的总变差距离以 $ (1-t)^eta $ 阶收敛，其中 $ eta > 0 $，且与混沌阶数无关。
• 获得了与光滑距离（如1- Wasserstein距离）可达到的速率相匹配的显式总变差收敛速率，仅相差对数因子。
• 该方法给出了与Wiener混沌阶数 $ q $ 无关的定量界，解决了多维四阶矩定理中长期存在的开放问题。
• 结果超出了经典Stein方法的适用范围，并可推广至高斯场的非线性、非i.i.d.泛函。