[论文解读] Faster SGD Using Sketched Conditioning

Alon Gonen, Shai Shalev‐Shwartz|arXiv (Cornell University)|Jun 8, 2015

Stochastic Gradient Optimization Techniques参考文献 10被引用 11

一句话总结

本文提出基于草图的条件化随机梯度下降（SCSGD），通过使用草图技术高效计算条件矩阵 $ A = C^{1/2} $，其中 $ C $ 为数据相关矩阵，从而加速SGD。该方法在凸与非凸设置下均显著加快收敛速度，实验表明在MNIST和SVHN数据集上，SCSGD相较于标准SGD实现了更快的训练与测试误差下降。

ABSTRACT

We propose a novel method for speeding up stochastic optimization algorithms via sketching methods, which recently became a powerful tool for accelerating algorithms for numerical linear algebra. We revisit the method of conditioning for accelerating first-order methods and suggest the use of sketching methods for constructing a cheap conditioner that attains a significant speedup with respect to the Stochastic Gradient Descent (SGD) algorithm. While our theoretical guarantees assume convexity, we discuss the applicability of our method to deep neural networks, and experimentally demonstrate its merits.

研究动机与目标

• 加速大规模经验风险最小化问题中的随机梯度下降（SGD）。
• 开发一种计算高效的条件矩阵 $ A $，在不增加每轮迭代成本的前提下提升收敛速度。
• 将条件化框架从凸设置扩展至非凸设置，如深度神经网络。
• 在MNIST和SVHN等标准视觉基准数据集上对方法进行实证验证。

提出的方法

• 提出条件化SGD，通过正定矩阵 $ A $ 修改更新规则，得到 $ W_{t+1} = W_t - \eta (\nabla \ell_{y_i}(W_t x_i)) (A^{-1} x_i)^\top $。
• 利用草图技术近似数据相关矩阵 $ C = \frac{1}{m} \sum_{i=1}^m x_i x_i^\top $ 的平方根，实现 $ C^{1/2} $ 的快速低秩近似。
• 在独立线程中使用草图预计算 $ A^{-1} $，避免主训练循环中的性能瓶颈。
• 通过Im2Col将卷积层转换为仿射层，实现在网络各层中统一应用条件矩阵。
• 在保留标准深度学习组件（如ReLU、Xavier初始化、Nesterov动量）的同时，将标准SGD更新替换为条件化更新。
• 基于迹范数上界推导出最优条件矩阵 $ A = C^{1/2} $，在理论假设下最小化收敛界。

实验结果

研究问题

• RQ1 能否利用草图技术高效计算条件矩阵，以加速大规模学习中的SGD？
• RQ2 在凸设置下，条件矩阵 $ A = C^{1/2} $ 是否相比标准SGD实现更快收敛？
• RQ3 该条件化框架能否在计算开销极小的前提下扩展至非凸深度神经网络？
• RQ4 SCSGD在真实世界视觉数据集上的训练与测试误差收敛速度与标准SGD相比如何？

主要发现

• SCSGD在MNIST和SVHN数据集上均显著快于标准SGD实现收敛，所有指标下的误差下降速度更快。
• 在MNIST上，SCSGD以更快速度降低训练与测试误差（以多分类对数损失衡量），测试误差更早降至1.5%以下。
• 在SVHN上，SCSGD更早实现更低的测试误差（约1.3%），表明在不同架构下均表现出一致的速度提升。
• 该方法保持与标准SGD相同的超参数与网络架构，仅通过条件矩阵计算修改了更新规则。
• 通过草图计算的条件矩阵 $ A = C^{1/2} $ 在理论上可实现高达 $ \min\{n,p\} $ 的加速比，实证中早期训练阶段性能提升超过2倍。
• 条件矩阵的草图计算可并行执行，对主训练循环无运行时开销。