[论文解读] High-dimensional CLT for Sums of Non-degenerate Random Vectors: $n^{-1/2}$-rate

Arun Kumar Kuchibhotla, Alessandro Rinaldo|arXiv (Cornell University)|Sep 28, 2020

Random Matrices and Applications参考文献 36被引用 4

一句话总结

本文建立了高维中心极限定理（CLT），适用于独立但非同分布的随机向量，其协方差矩阵非奇异，实现了在超长方体上的 Berry–Esseen 误差界中最优的 $n^{-1/2}$ 收敛速率。证明基于 Senatov 方法的非平凡推广，放宽了先前研究中对次高斯性与独立性的强假设，同时保持三阶矩有限。

ABSTRACT

In this note, we provide a Berry--Esseen bounds for rectangles in high-dimensions when the random vectors have non-singular covariance matrices. Under this assumption of non-singularity, we prove an $n^{-1/2}$ scaling for the Berry--Esseen bound for sums of mean independent random vectors with a finite third moment. The proof is essentially the method of compositions proof of multivariate Berry--Esseen bound from Senatov (2011). Similar to other existing works (Kuchibhotla et al. 2018, Fang and Koike 2020a), this note considers the applicability and effectiveness of classical CLT proof techniques for the high-dimensional case.

研究动机与目标

• 推导独立但非同分布随机向量和的高维 CLT，实现 $n^{-1/2}$ 收敛速率。
• 放宽先前研究中使用的次高斯性与 log-concavity 等限制性假设。
• 在最弱条件下（非退化协方差与有限三阶矩）建立最紧可能的收敛速率。
• 通过下界构造证明 $n^{-1/2}$ 速率的最优性，表明在无更强假设下无法进一步改进。
• 提供一个通用框架，适用于涉及乘子随机向量的高维统计模型，如重尾误差下的回归模型。

提出的方法

• 将 Senatov 的组合方法适配于高维情形，推导超长方体上的多变量 Berry–Esseen 误差界。
• 采用 Stein 方法框架，通过矩形集上的分布差来控制和的分布与目标高斯分布之间的差异。
• 利用三阶泰勒展开并控制余项，通过测试函数的三阶导数的 $L^1$-范数实现。
• 引入归一化度量 $\zeta_3(U,V)$，以三阶导数量化分布之间的差异。
• 建立关键不等式 $\zeta_3(U,V) \leq \nu_3(U,V)/6$，将导数范数与类似总变差的距离联系起来。
• 构造具有重尾分量的显式反例，证明在给定假设下 $n^{-1/2}$ 速率无法进一步改进。

实验结果

研究问题

• RQ1 在弱于次高斯性或 log-concavity 的假设下，高维 CLT 中的 $n^{-1/2}$ 收敛速率是否仍可实现？
• RQ2 对于具有非奇异协方差矩阵与有限三阶矩的非 i.i.d. 随机向量和，$n^{-1/2}$ 速率是否最优？
• RQ3 组合方法能否被适配以在无 i.i.d. 或次高斯性假设下，为高维超长方体提供紧致误差界？
• RQ4 在非退化条件下，实现 $n^{-1/2}$ 收敛所需的维度 $p$ 的最小依赖关系是什么？
• RQ5 高维回归中乘子随机向量如何影响 CLT 的收敛速率？该理论能否容纳此类情形？

主要发现

• 本文在非奇异协方差矩阵与有限三阶矩条件下，为独立但非同分布的随机向量和建立了 $n^{-1/2}$ Berry–Esseen 误差界。
• 该误差界对所有 $p$-维超长方体一致成立，扩展了其在高维推断中的适用性。
• 通过下界构造证明了 $n^{-1/2}$ 速率的最优性：当 $\sigma_{\min} \lesssim n^{-1/6}$ 时，误差保持远离零。
• 相比 Lopes (2020)，本研究去除了 i.i.d. 与次高斯性假设，同时保持了 $n^{-1/2}$ 收敛速率。
• 该方法对重尾分量具有鲁棒性，适用于非次高斯误差下的高维回归中的乘子过程。
• 证明表明，在温和条件下 $\nu_3(U,V) \lesssim (\log(ep))^{3/2}$，结合 $\sigma_{\min}$ 的缩放，足以实现 $n^{-1/2}$ 收敛速率。