[论文解读] A CLT in Stein's distance for generalized Wishart matrices and higher order tensors

Dan Mikulincer|arXiv (Cornell University)|Feb 25, 2020

Random Matrices and Applications参考文献 42被引用 6

一句话总结

该论文在广义 Wishart 矩阵和高阶张量的 Stein 距离下建立了中心极限定理（CLT），表明在满足正则性条件时，当 $n^{2p-1} \ll d$，独立同分布的 $p$-阶张量幂之和收敛于高斯分布。其关键创新在于将最优传输理论新颖地应用于 Stein 方法中，以利用张量幂的低维结构，从而获得比标准 Stein 技术更紧的收敛界。

ABSTRACT

We study the central limit theorem for sums of independent tensor powers, $\frac{1}{\sqrt{d}}\sum\limits_{i=1}^d X_i^{\otimes p}$. We focus on the high-dimensional regime where $X_i \in \mathbb{R}^n$ and $n$ may scale with $d$. Our main result is a proposed threshold for convergence. Specifically, we show that, under some regularity assumption, if $n^{2p-1}\gg d$, then the normalized sum converges to a Gaussian. The results apply, among others, to symmetric uniform log-concave measures and to product measures. This generalizes several results found in the literature. Our main technique is a novel application of optimal transport to Stein's method which accounts for the low dimensional structure which is inherent in $X_i^{\otimes p}$.

研究动机与目标

• 将高维 CLT 扩展至由 $\mathbb{R}^n$ 中独立同分布随机向量的 $p$-阶张量幂构成的广义 Wishart 矩阵。
• 放宽先前对乘积测度或对数凹测度的假设，允许更广泛的各向同性测度类。
• 在 Stein 距离下建立收敛的精确阈值，将已知的 $p=2$ 情况推广至 $p>2$。
• 开发一种能够考虑张量幂内在低维结构的方法，从而改进收敛速率界。

提出的方法

• 在 Stein 方法中新颖地应用最优传输理论，以分析张量幂归一化和与高斯分布之间的距离。
• 使用带有交换对和基于梯度的界来控制 Stein 偏差的 Stein 方法。
• 引入一种改进的 Stein 算子，以整合 $X_i^{\otimes p}$ 的低维结构，从而降低问题的有效维度。
• 通过运输映射的条件数学期望的 Hilbert-Schmidt 范数估计，推导出 Stein 解的二阶矩界。
• 应用 Talagrand 的运输-熵不等式和 Pinsker 不等式，将相对熵与 Wasserstein 距离关联起来。
• 专门处理均匀对数凹测度和乘积测度，以 $n$、$d$ 和 $p$ 表示收敛速率的显式界。

实验结果

研究问题

• RQ1 当 $n$ 随 $d$ 变化时，归一化 $p$-阶张量幂在高维下收敛于高斯分布的精确阈值是什么？
• RQ2 Wishart 矩阵的 CLT 能否超越乘积测度和对数凹测度，推广到更一般的各向同性分布？
• RQ3 如何将最优传输整合进 Stein 方法中，以改进具有低维结构的随机张量的收敛界？
• RQ4 在张量和中包含对角线元素是否会影响 CLT 的阈值？如果会，其影响机制如何？
• RQ5 该方法能否适应底层随机矩阵中具有依赖性的元素，例如平稳高斯过程？

主要发现

• 论文证明了若 $n^{2p-1} \ll d$，则在对测度 $\mu$ 的温和正则性假设下，归一化和 $\frac{1}{\sqrt{d}}\sum_{i=1}^d X_i^{\otimes p}$ 在 Stein 距离下收敛于高斯分布。
• 阈值 $n^{2p-1} \ll d$ 推广了已知的 $p=2$ 情况下的 $n^3 \ll d$ 阈值，将 CLT 扩展至更高阶张量。
• 对于各向同性 $L$-均匀对数凹且无条件的测度，Stein 偏差的界为 $\frac{C_p}{L^4} n^{2p-1} \frac{\|\alpha\|_4^4}{\|\alpha\|_2^4}$，其中 $C_p$ 仅依赖于 $p$。
• 该方法通过利用 $X_i^{\otimes p}$ 的低维结构（其位于维度为 $\binom{n+p-1}{p}$ 的空间中，但其随机性源自 $\mathbb{R}^n$）实现了比标准 Stein 技术更紧的界。
• 即使底层矩阵 $\mathbb{X}$ 的列具有依赖性（如平稳高斯过程），结果依然成立，可通过正交对角化进行变量变换。
• 该框架适用于非齐次和，并能给出 Stein 解的二阶矩界，从而为一般 $p$-阶张量和提供定量收敛速率。