[论文解读] Fixed-Rank Approximation of a Positive-Semidefinite Matrix from Streaming Data

Joel A. Tropp, Alp Yurtsever+2 more|arXiv (Cornell University)|May 18, 2017

Sparse and Compressive Sensing Techniques参考文献 37被引用 21

一句话总结

该论文提出了一种新颖的算法，用于从流式数据中对固定秩的正定（psd）矩阵进行低秩逼近，采用随机化映射框架。通过将Nystroem方法与一种新型的秩截断机制相结合，该方法在Schatten 1-范数下实现了可证明准确的低秩逼近，利用了谱衰减特性，并在流式主成分分析（PCA）和半定规划等应用中实现了最优存储使用。

ABSTRACT

Several important applications, such as streaming PCA and semidefinite programming, involve a large-scale positive-semidefinite (psd) matrix that is presented as a sequence of linear updates. Because of storage limitations, it may only be possible to retain a sketch of the psd matrix. This paper develops a new algorithm for fixed-rank psd approximation from a sketch. The approach combines the Nystrom approximation with a novel mechanism for rank truncation. Theoretical analysis establishes that the proposed method can achieve any prescribed relative error in the Schatten 1-norm and that it exploits the spectral decay of the input matrix. Computer experiments show that the proposed method dominates alternative techniques for fixed-rank psd matrix approximation across a wide range of examples.

研究动机与目标

• 解决在严格存储约束下，对大规模动态psd矩阵维持低秩psd逼近的挑战。
• 在全矩阵存储不可行的流式环境中，实现固定秩psd逼近的高效计算。
• 开发一种利用谱衰减与映射技术的方法，以最小的存储开销实现高精度逼近。
• 为流式psd矩阵更新提供在Schatten 1-范数下的逼近误差理论保证。
• 在多种合成与真实世界矩阵结构中，优于现有方法的准确性和效率。

提出的方法

• 通过一个测试矩阵 $\bm{\Omega} \in \mathbb{F}^{n \times k}$ 实现随机化线性映射，以维护演化中的psd矩阵 $\bm{A}$ 的压缩表示。
• 采用Nystroem方法，从映射结果 $\bm{Y} = \bm{A}\bm{\Omega}$ 构建一个秩-$k$逼近 $\hat{\bm{A}}$。
• 提出一种新型的秩截断机制，通过SVD将Nystroem逼近投影到最优秩-$r$ psd矩阵上。
• 通过线性动态 $\bm{Y} \leftarrow \theta_1\bm{Y} + \theta_2\bm{H}\bm{\Omega}$ 保持并增量式更新映射。
• 采用Schatten 1-范数作为误差度量，并建立相对误差的理论界。
• 采用两种映射类型：高斯映射与SSFT（子采样随机傅里叶变换），并进行经验比较。

实验结果

研究问题

• RQ1 能否从具有最优存储的流式映射中准确计算出固定秩psd逼近？
• RQ2 所提方法的误差如何随谱衰减和映射大小 $k$ 变化？
• RQ3 所提出的新型秩截断机制在Schatten 1-范数误差方面是否优于标准SVD截断？
• RQ4 在多种矩阵类型中，该方法与现有算法相比在准确性和存储效率方面表现如何？
• RQ5 映射类型（高斯 vs. SSFT）对逼近质量与计算成本有何影响？

主要发现

• 所提算法在Schatten 1-范数下的相对误差有界，且随谱衰减呈有利的缩放关系。
• 该方法在具有线性更新的流式模型下，提供了逼近精度的理论保证。
• 计算机实验表明，该方法在所有测试的合成矩阵类型中均优于其他方法，包括低秩、多项式衰减和指数衰减结构。
• SSFT映射在计算成本更低的情况下，实现了与高斯映射相当的逼近精度，尤其在大规模场景中优势明显。
• 对于有效秩 $R=5$、$10$ 和 $20$，该方法在所有存储成本 $T$ 下均保持较低的Schatten 1-范数误差，优于基线方法。
• 在高噪声或谱衰减缓慢的情况下，该方法仍显著低于竞争方法的误差，表现出强鲁棒性。