[论文解读] Parallelizing Stochastic Gradient Descent for Least Squares Regression: mini-batching, averaging, and model misspecification

Prateek Jain, Sham M. Kakade+3 more|arXiv (Cornell University)|Oct 12, 2016

Stochastic Gradient Optimization Techniques被引用 89

一句话总结

本文对最小二乘回归中的随机梯度下降（SGD）的随机小批量（mini-batching）和尾部平均（tail-averaging）提供了精确的有限样本分析，通过小批量方法建立了可证明的近线性加速效果，并推导出依赖于模型误设中噪声特性的问题相关步长边界。该研究提出了一种高度可并行化的SGD变体，仅需少量串行更新即可达到极小最大风险。

ABSTRACT

This work characterizes the benefits of averaging schemes widely used in conjunction with stochastic gradient descent (SGD). In particular, this work provides a sharp analysis of: (1) mini-batching, a method of averaging many samples of a stochastic gradient to both reduce the variance of the stochastic gradient estimate and for parallelizing SGD and (2) tail-averaging, a method involving averaging the final few iterates of SGD to decrease the variance in SGD's final iterate. This work presents non-asymptotic excess risk bounds for these schemes for the stochastic approximation problem of least squares regression. Furthermore, this work establishes a precise problem-dependent extent to which mini-batch SGD yields provable near-linear parallelization speedups over SGD with batch size one. This allows for understanding learning rate versus batch size tradeoffs for the final iterate of an SGD method. These results are then utilized in providing a highly parallelizable SGD method that obtains the minimax risk with nearly the same number of serial updates as batch gradient descent, improving significantly over existing SGD methods. A non-asymptotic analysis of communication efficient parallelization schemes such as model-averaging/parameter mixing methods is then provided. Finally, this work sheds light on some fundamental differences in SGD's behavior when dealing with agnostic noise in the (non-realizable) least squares regression problem. In particular, the work shows that the stepsizes that ensure minimax risk for the agnostic case must be a function of the noise properties. This paper builds on the operator view of analyzing SGD methods, introduced by Defossez and Bach (2015), followed by developing a novel analysis in bounding these operators to characterize the excess risk. These techniques are of broader interest in analyzing computational aspects of stochastic approximation.

研究动机与目标

• 刻画小批量处理与尾部平均在最小二乘回归中SGD的收益。
• 为这些平均技术建立有限样本泛化误差边界。
• 推导出小批量处理可实现近线性并行化加速的问题相关条件。
• 分析模型误设对SGD中最优步长选择的影响。
• 开发一种高度可并行化的SGD方法，使其在极少串行更新下即可达到极小最大风险。

提出的方法

• 本文采用算子理论框架分析SGD迭代的方差与偏差，扩展了Défossez和Bach（2015）的方法。
• 提出一种新颖的算子分析方法，通过刻画表示SGD更新动力学的线性算子的逆，来界定泛化误差。
• 分析中引入了输入数据的Hessian矩阵H与四阶矩张量M，以建模随机梯度的二阶性质。
• 尾部平均被形式化为对最终迭代点的加权平均，从而降低最终估计量的方差。
• 形式化了工作-深度权衡关系，其中工作指总计算量，深度指串行更新次数，以量化并行化效率。
• 为模型平均（一种通信高效的并行化方案）推导出非渐近的过剩风险边界。

实验结果

研究问题

• RQ1 在最小二乘回归中，小批量处理如何影响SGD的泛化误差与并行化效率？
• RQ2 在有限样本条件下，小批量处理在多大程度上能实现SGD的近线性加速？
• RQ3 模型误设如何影响SGD中最优步长的选择？噪声特性在此过程中起什么作用？
• RQ4 尾部平均能否显著降低最终SGD迭代点的方差？其理论过剩风险边界是什么？
• RQ5 在非可实现的最小二乘问题中，实现极小最大风险的并行SGD变体所需的最少串行更新次数是多少？

主要发现

• 小批量处理在最小二乘回归的SGD中可实现可证明的近线性加速，加速程度取决于问题特定参数（如Hessian矩阵与四阶矩张量）。
• 在误设情形下，最优步长依赖于噪声特性，其步长边界相比正确设定情形存在一个d倍的因子差异。
• 尾部平均可降低最终迭代点的方差，本文为该方案提供了非渐近的过剩风险边界。
• 提出了一种高度可并行化的SGD方法，其达到极小最大风险所需的串行更新次数与批量梯度下降几乎相同。
• 分析揭示了在正确设定与误设模型下SGD行为的根本差异，尤其体现在所需最大步长上。
• 本文证明，过剩风险中的主导方差项由算子T_b^{-1}Σ的迹决定，其依赖于数据矩与步长。