[论文解读] Optimal Approximation of Doubly Stochastic Matrices

Nikitas Rontsis, Paul J. Goulart|arXiv (Cornell University)|Oct 11, 2019

Sparse and Compressive Sensing Techniques被引用 1

一句话总结

本论文提出了一种基于ADMM的高效算法，用于在保持矩阵C稀疏模式的前提下，将其近似为双随机矩阵。通过利用C + I的初始Cholesky分解以及线性复杂度的迭代过程，该方法在拥有最多8200万个非零元素的矩阵上实现了亚秒级的计算速度，展示了在基因组学、聚类和稀疏矩阵应用中的卓越速度与可扩展性。

ABSTRACT

We consider the least-squares approximation of a matrix C in the set of doubly stochastic matrices with the same sparsity pattern as C. Our approach is based on applying the well-known Alternating Direction Method of Multipliers (ADMM) to a reformulation of the original problem. Our resulting algorithm requires an initial Cholesky factorization of a positive definite matrix that has the same sparsity pattern as C + I followed by simple iterations whose complexity is linear in the number of nonzeros in C, thus ensuring excellent scalability and speed. We demonstrate the advantages of our approach in a series of experiments on problems with up to 82 million nonzeros; these include normalizing large scale matrices arising from the 3D structure of the human genome, clustering applications, and the SuiteSparse matrix library. Overall, our experiments illustrate the outstanding scalability of our algorithm; matrices with millions of nonzeros can be approximated in a few seconds on modest desktop computing hardware.

研究动机与目标

• 为高效近似大规模矩阵为双随机矩阵，同时保持其稀疏模式提供解决方案。
• 开发一种可扩展的优化方法，以在矩阵C的最小二乘近似中保持高精度。
• 通过最小化计算开销，实现在大规模矩阵（如来自3D基因组结构和SuiteSparse的数据）上的实际计算。
• 实现每轮迭代的线性时间复杂度，确保在含有数百万个非零元素的矩阵上保持高性能。

提出的方法

• 将双随机矩阵近似问题重新表述，以适用于增广拉格朗日乘子法（ADMM）的应用。
• 对C + I执行初始Cholesky分解，其中C具有与目标矩阵相同的稀疏模式。
• 设计利用稀疏性的迭代更新方式，确保每轮迭代的计算复杂度与C中非零元素数量呈线性关系。
• 利用稀疏结构以保持计算效率，避免密集矩阵运算。
• 在ADMM框架内，通过交替更新来强制施加双随机约束（行和列的和均为1），同时最小化与C的Frobenius范数差异。
• 通过ADMM框架内的对偶上升和惩罚参数更新确保收敛性。

实验结果

研究问题

• RQ1 能否设计一种高效且可扩展的算法，在保持稀疏结构的前提下，将大规模稀疏矩阵近似为双随机矩阵？
• RQ2 所提出的基于ADMM的方法在含有最多8200万个非零元素的矩阵上，其运行时间和精度表现如何？
• RQ3 对C + I进行Cholesky分解在多大程度上实现了更快的收敛速度和更低的每轮迭代成本？
• RQ4 该方法在3D基因组学和聚类等多样化实际应用中的可扩展性如何？
• RQ5 该算法在SuiteSparse等标准稀疏矩阵基准测试中的实际性能表现如何？

主要发现

• 在标准桌面硬件上，该算法对含有最多8200万个非零元素的矩阵实现了亚秒级的近似时间。
• 该方法表现出极佳的可扩展性，每轮迭代的复杂度与C中非零元素数量呈线性关系。
• 对C + I进行的初始Cholesky分解，使得后续ADMM迭代中的更新更加高效且稳定。
• 该方法在强制施加精确的双随机约束的同时，保持了高精度的最小二乘近似。
• 在基因组学、聚类和SuiteSparse矩阵上的实验结果表明，该方法在多样化的真实应用场景中均表现出稳健的性能。