[论文解读] Sketch and Project: Randomized Iterative Methods for Linear Systems and Inverting Matrices

Robert M. Gower|arXiv (Cornell University)|Dec 19, 2016

Stochastic Gradient Optimization Techniques参考文献 121被引用 9

一句话总结

本文提出了一种统一的随机投影-投影框架，用于通过随机迭代方法求解线性系统并求逆矩阵。通过将问题简化为更简单的子问题并将其投影到解空间，该方法实现了具有显式收敛速率的指数收敛，推广并改进了已知算法（如随机Kaczmarz方法和坐标下降法），同时支持通过优化采样策略和块结构生成新变体。

ABSTRACT

Probabilistic ideas and tools have recently begun to permeate into several fields where they had traditionally not played a major role, including fields such as numerical linear algebra and optimization. One of the key ways in which these ideas influence these fields is via the development and analysis of randomized algorithms for solving standard and new problems of these fields. Such methods are typically easier to analyze, and often lead to faster and/or more scalable and versatile methods in practice. This thesis explores the design and analysis of new randomized iterative methods for solving linear systems and inverting matrices. The methods are based on a novel sketch-and-project framework. By sketching we mean, to start with a difficult problem and then randomly generate a simple problem that contains all the solutions of the original problem. After sketching the problem, we calculate the next iterate by projecting our current iterate onto the solution space of the sketched problem.

研究动机与目标

• 开发一种统一的、基于概率的框架，用于通过随机迭代方法求解大规模线性系统并求逆矩阵。
• 通过灵活的投影-投影公式，推广并改进现有随机方法（如随机Kaczmarz、坐标下降和牛顿型方法）。
• 将框架扩展至对偶方法，用于计算投影到解空间，支持在分布式一致性与预条件化中的应用。
• 设计新的随机拟牛顿更新方法用于矩阵求逆，保持对称性与正定性，并实现全局指数收敛。
• 开发自适应变体，在迭代过程中动态调整采样分布，以加速大规模问题的收敛。

提出的方法

• 投影-投影方法通过生成一个保留原系统所有解的随机子问题（即投影），然后将当前迭代点投影到该子问题的解空间上。
• 该方法以六种等价形式表述：投影-投影、约束-近似、随机交集、随机线性求解、随机更新和随机不动点。
• 收敛性由两个参数决定：定义几何结构的正定矩阵，以及每轮迭代独立同分布采样的随机矩阵。
• 对偶形式——随机对偶上升（Stochastic Dual Ascent, SDA）——通过在随机矩阵列张成的子空间中更新对偶变量，迭代最大化一个非强凹的对偶函数。
• 在矩阵求逆中，该框架生成经典拟牛顿更新（如BFGS、DFP）的随机块变体，保持对称性与正定性。
• 一种自适应变体AdaRBFGS在迭代过程中动态调整采样分布，以提升收敛速度。

实验结果

研究问题

• RQ1 能否基于单一概率原理，构建一个统一框架，推广已知的随机迭代线性系统求解器？
• RQ2 投影-投影方法的收敛速率如何依赖于投影矩阵与几何矩阵的选择？
• RQ3 投影-投影框架能否扩展至计算向量在某一线性系统解空间上的投影？
• RQ4 该框架能否被调整以实现矩阵求逆，同时保持对称性与正定性等结构特性？
• RQ5 能否设计出自适应采样策略，以加速矩阵求逆与线性系统求解的收敛？

主要发现

• 投影-投影方法在误差范数的期望下实现指数收敛，且一个定理统一了所有特例的收敛性分析。
• 期望迭代点遵循精确公式，从而可推导出收敛速率的精确下界。
• 随机对偶上升（SDA）方法在极简假设下（仅需系统一致）仍能以指数速度收敛至向量在解空间上的投影。
• SDA的收敛速率随系统矩阵的秩降低而提升，这一反直觉现象在低秩场景中具有显著优势。
• AdaRBFGS方法在大规模问题上相比Newton-Schulz与标准近似预条件方法，性能提升达数个数量级，尤其在从单位矩阵初始化时表现更优。
• 该框架揭示了拟牛顿更新与近似逆预条件之间的根本对偶性，建立了这两类方法之间全新的理论联系。