[论文解读] Adaptive Sketch-and-Project Methods for Solving Linear Systems

Robert M. Gower, Denali Molitor+2 more|arXiv (Cornell University)|Sep 9, 2019

Stochastic Gradient Optimization Techniques参考文献 38被引用 10

一句话总结

本文提出了自适应采样规则——最大距离、成比例和截断规则，用于改进sketch-and-project方法求解线性系统，以提高效率。通过基于采样残差选择采样，最大距离规则实现了最快的全局线性收敛速度，其理论和实验结果均优于现有方法，且在采样规模适中时，每轮迭代的计算成本与固定采样相当。

ABSTRACT

We present new adaptive sampling rules for the sketch-and-project method for solving linear systems. To deduce our new sampling rules, we first show how the progress of one step of the sketch-and-project method depends directly on a sketched residual. Based on this insight, we derive a 1) max-distance sampling rule, by sampling the sketch with the largest sketched residual 2) a proportional sampling rule, by sampling proportional to the sketched residual, and finally 3) a capped sampling rule. The capped sampling rule is a generalization of the recently introduced adaptive sampling rules for the Kaczmarz method. We provide a global linear convergence theorem for each sampling rule and show that the max-distance rule enjoys the fastest convergence. This finding is also verified in extensive numerical experiments that lead us to conclude that the max-distance sampling rule is superior both experimentally and theoretically to the capped sampling rule. We also provide numerical insights into implementing the adaptive strategies so that the per iteration cost is of the same order as using a fixed sampling strategy when the number of sketches times the sketch size is not significantly larger than the number of columns.

研究动机与目标

• 通过开发自适应采样策略，提升求解大规模线性系统的sketch-and-project方法的收敛速度。
• 分析采样残差对收敛的影响，并利用该洞察设计新型采样规则。
• 为每种提出的自适应采样规则提供全局线性收敛保证。
• 通过理论与实验比较自适应策略，识别最高效的方法。
• 确保每轮迭代的计算成本与固定采样策略保持可比。

提出的方法

• 该方法利用采样残差指导自适应采样，其中每个采样是通过采样矩阵对系统进行子采样得到的。
• 最大距离规则选择具有最大采样残差的采样，以最大化每轮迭代的进展。
• 成比例采样规则根据采样残差大小的正比概率选择采样。
• 截断采样规则通过基于残差加权平均的阈值，推广了先前的自适应Kaczmarz规则。
• sketch-and-project更新通过B-范数将当前迭代点投影到所选采样子系统的解空间。
• 通过一种新颖的分析，将每轮迭代的进展与采样残差范数联系起来，建立了理论收敛性。

实验结果

研究问题

• RQ1 采样残差大小在多大程度上影响单轮sketch-and-project迭代的进展？
• RQ2 基于采样残差的自适应采样规则是否能在收敛速度上超越固定采样？
• RQ3 在最大距离、成比例和截断三种规则中，哪一种能实现最快的全局线性收敛？
• RQ4 与固定采样相比，自适应采样的计算成本如何，是否仍具竞争力？
• RQ5 理论收敛速率与多样化测试案例中的实际性能表现相比如何？

主要发现

• 最大距离采样规则在所有提出的自适应策略中实现了最快的全局线性收敛速率。
• 数值实验确认，最大距离规则在收敛速度和各类测试问题的鲁棒性方面均优于截断规则。
• 当采样数量乘以采样规模不显著大于列数时，自适应采样的每轮迭代成本与固定采样处于同一数量级。
• 成比例采样规则通过顺序搜索采样，平均每个迭代约需2q次浮点运算。
• 截断自适应采样规则每轮迭代的总成本为6q + O(log q)次浮点运算，当使用均匀平均而非加权平均时，可降低至5q + O(log q)次浮点运算。
• 理论分析在标准假设下确认了所有三种自适应采样规则的全局线性收敛性。