[论文解读] How to reduce dimension with PCA and random projections?

Fan Yang, Sifan Liu+2 more|arXiv (Cornell University)|May 1, 2020

Sparse and Compressive Sensing Techniques参考文献 93被引用 8

一句话总结

本文研究了结合随机投影（压缩）与主成分分析（PCA）的“草图与求解”降维方法，分析了不同压缩技术（如 i.i.d. 投影、子采样哈达玛变换和计数草图）在低秩信号加噪声模型下对 PCA 准确性的影响。研究提供了渐近精确的结果，表明正交草图能更好地保持信号结构，且归一化可提升计数草图的性能，即使在信号仅略高于噪声水平时，只要压缩维度足够大，性能仍可改善。

ABSTRACT

In our "big data" age, the size and complexity of data is steadily increasing. Methods for dimension reduction are ever more popular and useful. Two distinct types of dimension reduction are "data-oblivious" methods such as random projections and sketching, and "data-aware" methods such as principal component analysis (PCA). Both have their strengths, such as speed for random projections, and data-adaptivity for PCA. In this work, we study how to combine them to get the best of both. We study "sketch and solve" methods that take a random projection (or sketch) first, and compute PCA after. We compute the performance of several popular sketching methods (random iid projections, random sampling, subsampled Hadamard transform, count sketch, etc) in a general "signal-plus-noise" (or spiked) data model. Compared to well-known works, our results (1) give asymptotically exact results, and (2) apply when the signal components are only slightly above the noise, but the projection dimension is non-negligible. We also study stronger signals allowing more general covariance structures. We find that (a) signal strength decreases under projection in a delicate way depending on the structure of the data and the sketching method, (b) orthogonal projections are more accurate, (c) randomization does not hurt too much, due to concentration of measure, (d) count sketch can be improved by a normalization method. Our results have implications for statistical learning and data analysis. We also illustrate that the results are highly accurate in simulations and in analyzing empirical data.

研究动机与目标

• 理解在高维数据中先应用随机投影再进行 PCA 的“草图与求解”方法的性能。
• 确定不同压缩技术（i.i.d. 投影、随机采样、子采样哈达玛变换和计数草图）对下游 PCA 准确性的影响。
• 在信号特征值仅略高于噪声水平时，推导出在“特征值突出”协方差模型下信号恢复的渐近精确结果。
• 识别随机化不会降低 PCA 性能的条件，利用测度集中性理论。
• 提出并分析可提升“草图与求解”流程中计数草图准确性的归一化技术。

提出的方法

• 分析草图与求解流程：将草图矩阵 S 应用于数据 Y，形成 SY，然后在 SY 上执行 PCA。
• 采用一般性的“特征值突出”协方差模型，其中数据由低秩信号矩阵加 i.i.d. 噪声构成。
• 应用随机矩阵理论工具，包括局部律和各向同性局部律，研究压缩后奇异值与奇异向量的行为。
• 考虑五种压缩方法：均匀正交投影、i.i.d. 高斯投影、带符号的随机采样、子采样哈达玛变换和计数草图。
• 通过概率收敛和二阶矩分析，建立 SY 的主奇异向量收敛至 Y 的主奇异向量的条件。
• 为计数草图提出一种归一化方法，以降低方差，并在渐近范围内提升信号恢复能力。

实验结果

研究问题

• RQ1 在应用不同压缩方法后，主主成分中的信号强度如何变化？
• RQ2 在信号相对于噪声较弱时，压缩方法在何种条件下能保持原始数据的主成分？
• RQ3 压缩方法的选择（如正交与 i.i.d.）如何影响“草图与求解”流程中 PCA 的准确性？
• RQ4 是否可通过归一化改进计数草图，以在低信号场景下实现更好的信号恢复？
• RQ5 压缩中的随机化在多大程度上会降低 PCA 性能？在何种条件下测度集中性可确保稳定性？

主要发现

• 正交压缩方法（如均匀随机投影和子采样哈达玛变换）比非正交方法（如 i.i.d. 投影）更准确地保持了信号结构。
• 信号强度在压缩过程中会退化，其退化程度取决于数据结构和压缩方法，正交压缩最小化了这种退化。
• 由于测度集中性，随机化不会显著损害 PCA 性能，尤其当压缩维度相对于信号强度足够大时。
• 通过归一化可改进计数草图，降低其方差，并在低信号场景下增强信号恢复能力。
• 理论结果在渐近意义上是精确的，即使信号特征值与噪声水平任意接近，只要压缩维度足够大，结果依然成立。
• 模拟和实证数据分析表明，理论预测在实践中具有高度准确性。