[论文解读] A Fast Spectral Algorithm for Mean Estimation with Sub-Gaussian Rates

Zhixian Lei, Kyle Luh+2 more|arXiv (Cornell University)|Aug 13, 2019

Markov Chains and Monte Carlo Methods参考文献 22被引用 6

一句话总结

本文提出了一种用于高维重尾分布中均值估计的快速谱算法，实现了最优的次高斯误差率，运行时间为 Õ(n²d)，显著优于以往基于SDP的方法。该方法通过数据矩阵的顶端奇异向量计算实现迭代优化，利用了最远超平面问题与重尾分布结构引理之间的一种新连接，确保了几何收敛。

ABSTRACT

We study the algorithmic problem of estimating the mean of heavy-tailed random vector in $\mathbb{R}^d$, given $n$ i.i.d. samples. The goal is to design an efficient estimator that attains the optimal sub-gaussian error bound, only assuming that the random vector has bounded mean and covariance. Polynomial-time solutions to this problem are known but have high runtime due to their use of semi-definite programming (SDP). Conceptually, it remains open whether convex relaxation is truly necessary for this problem. In this work, we show that it is possible to go beyond SDP and achieve better computational efficiency. In particular, we provide a spectral algorithm that achieves the optimal statistical performance and runs in time $\widetilde O\left(n^2 d ight)$, improving upon the previous fastest runtime $\widetilde O\left(n^{3.5}+ n^2d ight)$ by Cherapanamjeri el al. (COLT '19). Our algorithm is spectral in that it only requires (approximate) eigenvector computations, which can be implemented very efficiently by, for example, power iteration or the Lanczos method. At the core of our algorithm is a novel connection between the furthest hyperplane problem introduced by Karnin et al. (COLT '12) and a structural lemma on heavy-tailed distributions by Lugosi and Mendelson (Ann. Stat. '19). This allows us to iteratively reduce the estimation error at a geometric rate using only the information derived from the top singular vector of the data matrix, leading to a significantly faster running time.

研究动机与目标

• 解决在最小假设（有限均值和协方差）下，高维均值估计中统计最优性与计算效率之间的差距。
• 开发一种计算高效的半定规划（SDP）替代方法，以实现次高斯误差率。
• 证明凸松弛并非实现在均值估计中最优统计性能的必要条件。
• 在保持最优次高斯误差界的同时，实现比以往最先进方法更快的运行时间。

提出的方法

• 提出一种谱算法，通过仅使用数据矩阵的顶端奇异向量计算，迭代改进均值估计。
• 利用最远超平面问题（Karnin 等，2012）与重尾分布结构引理（Lugosi 和 Mendelson，2019）之间的一种新连接，指导迭代优化过程。
• 使用幂方法或Lanczos算法高效计算近似顶端奇异向量，实现快速迭代步骤。
• 通过梯度和距离估计（使用ApproxBregman算法）应用下降过程，确保收敛至真实均值。
• 采用修剪与舍入机制（Round算法），在迭代过程中保持对真实均值方向的充分裕量。
• 通过将样本集划分为不相交子集，确保初始猜测与下降阶段之间的统计独立性。

实验结果

研究问题

• RQ1 谱方法是否能在不依赖半定规划的前提下，实现重尾分布中均值估计的次高斯误差率？
• RQ2 是否可能仅通过顶端奇异向量计算实现均值估计的几何收敛？
• RQ3 在有限二阶矩下，实现高维均值估计最优统计性能所需的最低计算成本是多少？
• RQ4 能否利用最远超平面问题与重尾分布结构之间的联系，设计出更快速的估计器？
• RQ5 是否存在真正线性时间的算法解决此问题，还是 Õ(n²d) 是当前谱技术下的实际极限？

主要发现

• 所提出的谱算法实现了最优的次高斯误差率，与Lugosi-Mendelson估计器的统计性能完全匹配。
• 该算法运行时间为 Õ(n²d)，优于Cherapanamjeri 等（2019）提出的先前最佳运行时间 Õ(n³·⁵ + n²d)。
• 该方法通过仅使用数据矩阵的顶端奇异向量迭代优化估计，确保了估计误差的几何收敛。
• 通过结合初始猜测、下降过程和修剪步骤的高概率保证，该算法将失败概率控制在最多 δ。
• 运行时间主要由 Õ(k²d) 次操作主导，其中 k ≈ log(1/δ)，且通过依赖高效的特征值求解器，避免了昂贵的SDP计算。
• 该方法表明，凸松弛并非实现在均值估计中最优统计速率的必要条件，提示了高效鲁棒估计的新路径。