[论文解读] Frequent Directions : Simple and Deterministic Matrix Sketching

Mina Ghashami, Edo Liberty+2 more|arXiv (Cornell University)|Jan 8, 2015

Sparse and Compressive Sensing Techniques参考文献 32被引用 12

一句话总结

本文提出Frequent Directions，一种确定性矩阵压缩算法，按行处理矩阵，每行仅需O(dℓ)次运算，维护大小为ℓ×d的压缩矩阵。该算法实现了最优的空间-误差权衡，保证压缩矩阵的Frobenius范数误差被限制在‖A−Aₖ‖_F²/(ℓ−k)以内（用于协方差近似），以及(1 + k/(ℓ−k))‖A−Aₖ‖_F²以内（用于投影误差），两者均与理论下限相差常数因子。

ABSTRACT

We describe a new algorithm called Frequent Directions for deterministic matrix sketching in the row-updates model. The algorithm is presented an arbitrary input matrix $A \in R^{n imes d}$ one row at a time. It performed $O(d imes \ell)$ operations per row and maintains a sketch matrix $B \in R^{\ell imes d}$ such that for any $k < \ell$ $\|A^TA - B^TB \|_2 \leq \|A - A_k\|_F^2 / (\ell-k)$ and $\|A - π_{B_k}(A)\|_F^2 \leq \big(1 + \frac{k}{\ell-k}\big) \|A-A_k\|_F^2 $ . Here, $A_k$ stands for the minimizer of $\|A - A_k\|_F$ over all rank $k$ matrices (similarly $B_k$) and $π_{B_k}(A)$ is the rank $k$ matrix resulting from projecting $A$ on the row span of $B_k$. We show both of these bounds are the best possible for the space allowed. The summary is mergeable, and hence trivially parallelizable. Moreover, Frequent Directions outperforms exemplar implementations of existing streaming algorithms in the space-error tradeoff.

研究动机与目标

• 为在数据按顺序到达且主内存有限的流式模型中，高效计算大规模矩阵的低秩近似提供解决方案。
• 开发一种现有随机矩阵压缩方法的确定性替代方案，以提供更强的理论保证和更优的最坏情况误差界。
• 设计一种可合并且可轻松并行化的压缩算法，以支持大规模矩阵的高效分布式计算。
• 实现压缩矩阵大小与近似误差之间的最优权衡，与任何基于行更新的压缩方法的理论下限一致。

提出的方法

• 该算法逐行处理输入矩阵A ∈ ℝⁿˣᵈ，增量式地维护一个固定大小ℓ×d的压缩矩阵B ∈ ℝ^ℓˣᵈ。
• 在每一步中，对当前压缩矩阵执行截断SVD，并通过引入新行来更新压缩矩阵，确保保留最大的奇异值。
• 采用秩-1更新策略高效维护压缩矩阵，利用当前矩阵的SVD，并通过降维步骤去除最不显著的分量。
• 维持一个不变量：AᵀA与BᵀB之间的差值被限制在A的最佳秩-k近似残差的1/(ℓ−k)倍以内。
• 压缩矩阵设计为可合并：来自不相交数据子集的压缩矩阵可通过拼接后重新应用算法合并，从而实现简单的并行化。
• 该算法确保A在Bₖ行空间上的投影误差被限制在(1 + k/(ℓ−k))倍最优误差以内，这是该压缩大小下的最优相对误差保证。

实验结果

研究问题

• RQ1 确定性矩阵压缩算法是否能在基于行更新的流式模型中实现最优的空间-误差权衡？
• RQ2 与随机投影、哈希和采样等随机方法相比，Frequent Directions这类确定性方法在误差和运行时间方面的表现如何？
• RQ3 Frequent Directions生成的压缩矩阵是否可合并，从而支持高效分布式与并行计算？
• RQ4 Frequent Directions的理论误差界是否既紧致又优于竞争算法的实际表现？

主要发现

• Frequent Directions实现了最优的加法误差界：‖AᵀA − BᵀB‖₂ ≤ ‖A − Aₖ‖_F² / (ℓ − k)，该界与理论下限相差常数因子。
• 投影误差被限制在(1 + k/(ℓ − k))‖A − Aₖ‖_F²以内，这是任意大小为ℓ的压缩矩阵所能达到的最佳相对误差保证。
• 实验表明，无论在协方差误差还是投影误差方面，Frequent Directions始终优于随机投影、哈希和采样方法，尽管后三者均为随机方法。
• 该算法的最坏情况误差界比随机方法的实际性能更紧致，表明Frequent Directions不仅保证了良好性能，且在实践中通常表现更优。
• 尽管计算成本高于哈希或采样方法，Frequent Directions的运行时间与n和d呈线性关系，为O(ndℓ)，适用于大规模流式工作负载。
• 该算法可完美并行化：来自独立数据分区的压缩矩阵可通过将拼接后的压缩矩阵重新应用算法进行合并，从而实现高效的分布式处理。