[论文解读] Linearly Convergent Randomized Iterative Methods for Computing the Pseudoinverse

Robert M. Gower, Peter Richtárik|arXiv (Cornell University)|Dec 19, 2016

Sparse and Compressive Sensing Techniques参考文献 26被引用 17

一句话总结

本文提出了首个用于计算实矩阵广义逆的线性收敛随机迭代方法，利用了广义逆的三种变分表征。所提出的 SATAX 和 SAXAS 方法分别针对一般矩阵和对称矩阵实现了线性收敛，且在大规模问题上优于牛顿-舒尔茨方法，尤其在早期迭代中表现更优。

ABSTRACT

We develop the first stochastic incremental method for calculating the Moore-Penrose pseudoinverse of a real matrix. By leveraging three alternative characterizations of pseudoinverse matrices, we design three methods for calculating the pseudoinverse: two general purpose methods and one specialized to symmetric matrices. The two general purpose methods are proven to converge linearly to the pseudoinverse of any given matrix. For calculating the pseudoinverse of full rank matrices we present two additional specialized methods which enjoy a faster convergence rate than the general purpose methods. We also indicate how to develop randomized methods for calculating approximate range space projections, a much needed tool in inexact Newton type methods or quadratic solvers when linear constraints are present. Finally, we present numerical experiments of our general purpose methods for calculating pseudoinverses and show that our methods greatly outperform the Newton-Schulz method on large dimensional matrices.

研究动机与目标

• 开发首个用于计算 Moore-Penrose 广义逆的随机增量方法，并具备可证明的线性收敛性。
• 解决在大数据场景下 SVD 和牛顿-舒尔茨方法因内存和计算成本过高而受限的问题。
• 为对称矩阵设计专用方法，以提升收敛速度和效率。
• 实现范围空间投影的高效近似，该技术在不精确牛顿法和带约束的二次优化求解器中具有重要应用。
• 结合随机方法与牛顿-舒尔茨方法的优势，设计混合算法，使其性能优于任一方法单独使用。

提出的方法

• 利用广义逆的三种变分表征（P1、P2、P3）推导基于最小化 Frobenius 范数解的迭代更新规则。
• 提出 SATAX（Stochastic Averaged X）方法，适用于一般矩阵，通过随机子空间的投影与采样技术更新广义逆估计。
• 提出 SAXAS（Stochastic Averaged X for Symmetric matrices）作为对称矩阵的专用方法，采用对称采样与定制化更新规则。
• 使用随机采样矩阵 S 计算矩阵乘积（如 AS、A^TAS）的低秩近似，从而降低每轮迭代的计算成本。
• 在切换至牛顿-舒尔茨方法前，对 SATAX 迭代结果应用归一化启发式策略，以满足其收敛条件。
• 设计混合方法 NS-SATAX 和 NS-SAXAS，结合随机方法的早期线性收敛与牛顿-舒尔茨方法的局部二次收敛特性。

实验结果

研究问题

• RQ1 能否设计出具有线性收敛速率的随机增量方法来计算广义逆？
• RQ2 在 SVD 和牛顿-舒尔茨方法因内存或时间限制而失效的大规模矩阵场景下，如何高效计算广义逆？
• RQ3 针对对称矩阵的专用方法能否实现比通用随机方法更快的收敛速度？
• RQ4 如何最优地结合随机方法与牛顿-舒尔茨方法，以实现整体性能的显著提升？
• RQ5 随机方法能否扩展用于近似范围空间投影，从而在约束优化中实现应用？

主要发现

• SATAX 和 SAXAS 方法分别对任意实矩阵和对称矩阵均实现线性收敛至广义逆，且具有理论收敛保证。
• SATAX 在大规模矩阵上优于牛顿-舒尔茨方法，尤其在早期迭代中，归因于更快的初始收敛速度。
• 混合方法 NS-SATAX 在完成一次有效遍历后切换至牛顿-舒尔茨方法，整体性能优于单独使用牛顿-舒尔茨方法。
• 对于对称矩阵，SAXAS_uni 和 SAXAS_ada 在真实数据集（如 a9a 和 gisette_scale）上达到相对残差低于 10^-6 时，显著优于牛顿-舒尔茨方法。
• 在随机生成的高斯矩阵上，牛顿-舒尔茨方法在高精度广义逆计算中仍更高效，验证了混合方法的合理性。
• 所提出的方法可高效实现范围空间投影的近似，该技术在不精确牛顿法和带线性约束的二次优化求解器中具有关键作用。