[论文解读] A Hierarchical Singular Value Decomposition Algorithm for Low Rank Matrices

V. Vasudevan, M. Ramakrishna|arXiv (Cornell University)|Oct 8, 2017

Matrix Theory and Algorithms参考文献 4被引用 26

一句话总结

本文提出了一种分层块状奇异值分解（SVD）算法，通过递归合并和截断矩阵块的截断SVD，实现了对密集型大规模低秩矩阵的高效低秩逼近。该方法在单核系统上即使与截断全SVD相比，也能实现高达2倍的加速，同时保持低秩矩阵的误差低于3%，并通过行列双方向分区支持任意矩阵维度。

ABSTRACT

Singular value decomposition (SVD) is a widely used technique for dimensionality reduction and computation of basis vectors. In many applications, especially in fluid mechanics and image processing the matrices are dense, but low-rank matrices. In these cases, a truncated SVD corresponding to the most significant singular values is sufficient. In this paper, we propose a tree based merge-and-truncate algorithm to obtain an approximate truncated SVD of the matrix. Unlike previous methods, our technique is not limited to "tall and skinny" or "short and fat" matrices and it can be used for matrices of arbitrary size. The matrix is partitioned into blocks and the truncated SVDs of blocks are merged to obtain the final SVD. If the matrices are low rank, this algorithm gives significant speedup over finding the truncated SVD, even when run on a single core. The error is typically less than 3\%.

研究动机与目标

• 为流体动力学和图像处理中常见的密集型大规模低秩矩阵，解决全SVD计算效率低下的问题。
• 克服以往分布式SVD方法仅适用于‘高瘦’或‘矮胖’矩阵的局限性。
• 开发一种可扩展、支持单核与并行处理的算法，实现低秩SVD逼近，最大限度减少数据传输并提升性能。
• 通过在奇异向量和奇异值上应用迭代优化技术，降低低秩逼近的误差。
• 提供一种灵活的框架，通过同时进行行方向与列方向的分块，支持任意矩阵维度。

提出的方法

• 该算法将矩阵沿行和列方向划分为多个块，支持对任意尺寸矩阵的分层处理。
• 使用标准SVD例程（如LAPACK）独立计算每个块的截断SVD，仅保留最大的奇异值及其对应向量。
• 采用基于树结构的合并与截断（MAT）策略，利用增量SVD技术递归地将子块的截断SVD结果合并为父块。
• 每次合并后，将低于阈值（由合并参数γ确定）的奇异值和向量进行截断，以保持低秩并降低计算成本。
• 应用迭代优化步骤，通过重新计算残差矩阵的SVD并更新基向量，进一步优化逼近结果。
• 该方法支持行方向与列方向的分区，确保无论矩阵纵横比如何，都能高效处理。

实验结果

研究问题

• RQ1 在单核系统上，分层块状SVD算法能否在密集型低秩矩阵上实现相对于截断全SVD的显著加速？
• RQ2 该算法的性能与准确性如何随不同块大小和矩阵类型变化？
• RQ3 通过迭代优化奇异向量和奇异值，该算法能在多大程度上减少逼近误差？
• RQ4 当应用于奇异值衰减缓慢的矩阵（如FACES数据集）时，该算法是否能保持高准确性和高效性？
• RQ5 在不同矩阵结构下，为最大化加速比并最小化误差，最优的块大小配置是什么？

主要发现

• 在速度数据集上，当块大小为8192×64时，该算法相对于截断全SVD的最大加速比达到约2倍。
• 在FACES数据集上，当块大小为10304×100时，误差最高达5%，主要由于最后两个奇异值的逼近效果不佳。
• 在所有测试数据集中，误差通常低于3%，最大误差集中出现在最小的奇异值和奇异向量上。
• 迭代优化显著降低了最不显著奇异向量和奇异值的误差，提高了实际左奇异向量与近似左奇异向量之间的余弦相似度。
• 当每块的列数接近目标秩且每块的行数较大时，加速效果最为显著，尤其适用于奇异值快速衰减的矩阵。
• 该算法在多种数据类型（包括CFD速度与密度矩阵、ORL FACES数据集）上表现出鲁棒性，性能稳定且误差低。