[论文解读] Approximating Eigenvectors by Subsampling

Noureddine El Karoui, Alexandre d’Aspremont|arXiv (Cornell University)|Aug 2, 2009

Sparse and Compressive Sensing Techniques参考文献 30被引用 3

一句话总结

本文提出一种高效近似大型矩阵真实特征向量的方法，通过随机采样子矩阵并对其特征向量取平均实现。在温和的非一致性条件下（通常比矩阵补全的条件更宽松），该方法可实现高精度近似，从而在降维和信息检索等任务中实现可扩展的谱方法。

ABSTRACT

We show that averaging eigenvectors of randomly sampled submatrices efficiently approximates the true eigenvectors of the original matrix under certain conditions on the incoherence of the spectral decomposition. This incoherence assumption is typically milder than those made in matrix completion and allows eigenvectors to be sparse. We discuss applications to spectral methods in dimensionality reduction and information retrieval.

研究动机与目标

• 开发一种无需完整矩阵计算即可高效近似大型矩阵特征向量的可扩展方法。
• 通过利用子矩阵采样降低谱方法的计算成本，同时保持近似精度。
• 相比矩阵补全，放宽非一致性假设，允许更稀疏的特征向量，并提升方法的适用范围。
• 通过近似谱分解实现高效降维与信息检索。

提出的方法

• 从原始矩阵中随机采样子矩阵，计算其各自的特征向量。
• 对多个子矩阵采样结果的特征向量进行平均，形成真实特征向量的稳定近似。
• 利用谱分解中的非一致性条件，确保近似结果的收敛性与准确性。
• 利用特征向量分解的结构特性，在特征向量稀疏或具有特定结构时仍能保持低误差。
• 将该方法应用于全奇异值分解计算成本过高的大规模谱问题。

实验结果

研究问题

• RQ1 能否通过随机采样子矩阵的特征向量平均来准确近似真实特征向量？
• RQ2 该方法中的非一致性假设与矩阵补全中的相比有何不同？
• RQ3 在特征向量估计中，采样规模与近似误差之间的权衡关系如何？
• RQ4 该方法在实际应用（如降维）中可扩展到多大规模的矩阵？
• RQ5 当真实特征向量为稀疏或具有特定结构时，该方法是否仍能保持精度？

主要发现

• 在温和的非一致性条件下，该方法可实现高精度的特征向量近似，且该条件通常比矩阵补全中的更宽松。
• 通过平均多个子矩阵的特征向量，可降低方差，加速收敛至真实特征向量。
• 即使真实特征向量为稀疏，该方法仍保持有效性，从而扩展了其在真实世界数据中的适用性。
• 理论保证支持该方法的准确性，使其适用于可扩展的谱算法。
• 通过避免完整矩阵分解，该方法在降维与信息检索任务中实现了高效计算。