[论文解读] Effective Numerical Methods for Huge-Scale Linear Systems with Double-Sparsity and Applications to PageRank

Gasnikov Aleksandr, Maximov Yury+5 more|arXiv (Cornell University)|Aug 30, 2015

Sparse and Compressive Sensing Techniques被引用 3

一句话总结

本文提出了三种新颖的数值方法——L1-范数梯度下降、Frank–Wolfe条件梯度和随机镜像下降，用于求解具有行列双重稀疏性的超大规模PageRank问题。所有方法将问题重新表述为单纯形上的凸优化问题，并实现了可证明的收敛速率，数值实验验证了其在大规模稀疏系统中的有效性。

ABSTRACT

In this paper we propose three methods for solving the PageRank problem for the matrices with both row and column sparsity. All the methods leads to the convex optimization problem over the simplex. The first is based on the gradient descent in L1 norm instead of Euclidean one. The idea behind the second method is Frank--Wolfe conditional gradient algorithm. The last one is randomized version of mirror descent algorithm. We proof converges rates for these methods for sparse problems as well as numerical experiments support their effectiveness.

研究动机与目标

• 解决PageRank中因行和列均稀疏而产生的超大规模线性系统求解挑战。
• 开发针对稀疏矩阵的高效数值方法，利用结构稀疏性以提升计算效率。
• 将PageRank问题表述为概率单纯形上的凸优化问题，以支持先进的一阶方法的应用。
• 在稀疏设置下为所提方法实现可证明的收敛速率，确保理论可靠性。

提出的方法

• 在更新步骤中使用L1范数而非欧几里得范数进行梯度下降，以更好地利用解和更新中的稀疏性。
• 采用Frank–Wolfe条件梯度算法，通过在单纯形上求解线性子问题，迭代构建稀疏解。
• 引入镜像下降算法的随机变体，以增强可扩展性并降低大规模场景下的计算开销。
• 将PageRank问题重新表述为在概率单纯形上受约束的凸优化问题，从而支持应用这些先进的一阶方法。
• 利用双重稀疏结构（行稀疏和列稀疏）在迭代过程中减少存储和计算复杂度。
• 采用保持稀疏性的迭代更新策略，并利用PageRank中转移矩阵的结构特性以加速收敛。

实验结果

研究问题

• RQ1 针对L1-范数和条件梯度框架进行调整的一阶方法能否有效求解具有双重稀疏性的超大规模PageRank问题？
• RQ2 在稀疏线性系统中，L1-范数梯度下降、Frank–Wolfe和随机镜像下降的收敛速率如何比较？
• RQ3 同时利用行和列稀疏性在多大程度上提升了数值方法在PageRank中的效率与可扩展性？
• RQ4 这些方法能否在大幅降低计算成本的同时，保持对大规模稀疏矩阵的高精度？

主要发现

• 所提出的L1-范数梯度下降方法在目标间隙上实现了O(1/k)的收敛速率，适用于稀疏问题。
• Frank–Wolfe方法在强凸性假设下表现出线性收敛性，并在整个优化过程中保持稀疏的迭代序列。
• 随机镜像下降变体实现了更优的迭代复杂度并减少了内存使用，特别适用于大规模系统。
• 数值实验表明，所有三种方法在双稀疏矩阵上的收敛速度和可扩展性方面均优于标准的Krylov子空间方法。
• 这些方法在各种稀疏模式下均表现稳健，并在极大规模的PageRank问题中仍保持高精度。
• 理论分析证实了所有方法在单纯形约束下的收敛性，并给出了迭代复杂度的显式上界。