[论文解读] Gradient Projection Iterative Sketch for Large-Scale Constrained Least-Squares

Junqi Tang, Mohammad Golbabaee+1 more|arXiv (Cornell University)|Sep 29, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用 13

一句话总结

本文提出了梯度投影迭代采样（GPIS）及其加速变体（Acc-GPIS），一种一阶随机化算法，通过采样技术高效求解大规模约束最小二乘问题。该方法结合确定性采样与线搜索步长选择，在合成数据集和真实世界数据集上，相较于随机梯度方法（如SAGA）和完整梯度方法，在速度和计算效率方面均表现出更优的运行时间性能。

ABSTRACT

We propose a randomized first order optimization algorithm Gradient Projection Iterative Sketch (GPIS) and an accelerated variant for efficiently solving large scale constrained Least Squares (LS). We provide theoretical convergence analysis for both proposed algorithms and demonstrate our methods' computational efficiency compared to classical accelerated gradient method, and the state of the art variance-reduced stochastic gradient methods through numerical experiments in various large synthetic/real data sets.

研究动机与目标

• 解决机器学习与信号处理中大规模约束最小二乘问题的计算瓶颈。
• 克服随机梯度方法的局限性，特别是在频繁数据访问和高成本投影操作导致的运行时间方面。
• 开发一种一阶优化框架，利用采样技术降低问题维度，同时保持解的精度。
• 首次在采样框架内为一阶方法提供理论收敛性分析，其中采样子问题被近似求解。
• 证明可通过利用约束集的结构，在内外循环中加速收敛。

提出的方法

• 提出GPIS，一种结合经典采样（Pilanci & Wainwright, 2015）与迭代Hessian采样（Pilanci & Wainwright, 2016）的一阶算法，用于求解约束最小二乘问题。
• 通过应用Nesterov加速方案，提出加速变体Acc-GPIS，以提升收敛速度。
• 在内层循环中采用定制化线搜索方案，选择近似最优步长，利用确定性迭代提升计算效率。
• 使用Count-Sketch和高斯采样矩阵将原始大规模问题投影至低维空间。
• 在采样空间内执行梯度投影步骤，确保迭代点始终位于约束集内（如l1-球、核范数、低秩约束）。
• 通过Count-Sketch和FJLT实现高效采样，降低计算成本，同时保持理论保证的集中性界。

实验结果

研究问题

• RQ1 一阶采样方法能否在运行时间上超越SAGA等随机梯度方法，特别是在投影操作成本高昂时？
• RQ2 约束集的结构如何影响迭代采样算法外层循环的收敛速度？
• RQ3 当采样子问题被近似求解而非精确求解时，GPIS与Acc-GPIS的理论收敛行为如何？
• RQ4 由于采用确定性迭代，线搜索的激进策略在基于采样的一阶方法中能多大程度上有效应用？
• RQ5 在大规模约束最小二乘问题中，采样矩阵的选择（如Count-Sketch与高斯采样）对性能与稳定性有何影响？

主要发现

• 在所有测试数据集（包括合成与真实世界数据）上，GPIS与Acc-GPIS在运行时间性能上均优于SAGA和加速的完整梯度方法。
• 在Million-song Year Prediction数据集（500k × 90）上，尽管SAGA的周期数具有竞争力，GPIS在运行时间上仍优于使用批量大小为10的SAGA。
• 在投影操作成本高昂的场景下（如Syn3中的核范数约束），小批量SAGA因迭代次数多且频繁调用投影操作而显著变慢。
• 在高投影成本场景下，完整梯度方法更具竞争力，但随着误差降低，采样梯度方法仍保持计算优势。
• 确定性迭代使线搜索得以有效实施，可选择近似最优步长，减少对小批量数据访问的依赖，从而在现代向量化硬件上提升性能。
• 理论分析证实，在高斯采样下收敛具有高概率性，且外层循环的收敛速率受约束集结构的积极影响。