[论文解读] Iterate averaging as regularization for stochastic gradient descent

Gergely Neu, Lorenzo Rosasco|arXiv (Cornell University)|Feb 22, 2018

Stochastic Gradient Optimization Techniques被引用 16

一句话总结

该论文提出几何Polyak–Ruppert平均方法，即对随机梯度下降（SGD）迭代点采用几何衰减权重的加权平均，作为线性最小二乘回归的正则化技术。该方法在渐近意义上等价于岭回归，并实现了与正则化SGD最佳已知结果相匹配的有限样本预测误差界，为通过衰减率控制偏差-方差权衡提供了合理方法。

ABSTRACT

We propose and analyze a variant of the classic Polyak-Ruppert averaging scheme, broadly used in stochastic gradient methods. Rather than a uniform average of the iterates, we consider a weighted average, with weights decaying in a geometric fashion. In the context of linear least squares regression, we show that this averaging scheme has a the same regularizing effect, and indeed is asymptotically equivalent, to ridge regression. In particular, we derive finite-sample bounds for the proposed approach that match the best known results for regularized stochastic gradient methods.

研究动机与目标

• 提出一种新的SGD平均方案，通过在迭代点上施加几何衰减权重实现正则化。
• 在渐近极限下，建立几何平均与Tikhonov（岭）正则化的理论等价性。
• 推导所提方法的有限样本预测误差界，使其与正则化SGD的最佳已知结果相匹配。
• 为几何平均相较于尾部平均等其他平均策略何时表现更优提供实际指导。
• 通过存储的迭代点，仅需一次SGD遍历即可高效计算完整正则化路径，支持模型选择。

提出的方法

• 提出对SGD迭代点使用几何衰减权重的加权平均：$ \widetilde{w}_n = c_n \sum_{t=0}^n (1 - \gamma\lambda)^t w_t $，其中 $ c_n $ 为归一化常数。
• 在希尔伯特空间框架下，针对线性最小二乘回归分析该方法，通过协方差算子 $ \Sigma $ 建模数据分布。
• 推导过剩风险 $ \mathbb{E}[\Delta(\widetilde{w}_n)] = \mathbb{E}[\|\Sigma^{1/2}(\widetilde{w}_n - w^*)\|^2] $，并利用闵可夫斯基不等式与迹不等式进行界定。
• 将误差分解为‘无噪声’分量（偏差）与‘纯噪声’分量（方差），分别通过算子范数与迹项进行界定。
• 使用关键恒等式 $ w_t - w^* = M_{0,t}(w_0 - w^*) + \eta \sum_{j=1}^t M_{j,t} \varepsilon_j x_j $，其中 $ M_{j,t} $ 为更新算子的乘积矩阵。
• 证明几何平均方案在渐近意义上等价于求解正则化参数为 $ \lambda $ 的Tikhonov正则化最小二乘问题。

实验结果

研究问题

• RQ1 对SGD迭代点进行几何平均是否能产生与岭回归等价的正则化效果？
• RQ2 几何平均的有限样本预测误差界是否能与正则化SGD的最佳已知结果相匹配？
• RQ3 几何权重的衰减率如何影响估计器中的偏差-方差权衡？
• RQ4 在何种数据情形下（如小样本或病态条件）几何平均优于尾部平均？
• RQ5 是否可通过单次SGD遍历并存储迭代点，高效生成完整的正则化路径以支持模型选择？

主要发现

• 几何Polyak–Ruppert平均在渐近意义上等价于求解Tikhonov正则化最小二乘问题，正则化参数 $ \lambda $ 由衰减率 $ \gamma $ 决定。
• 该方法的有限样本预测误差界与正则化SGD的最佳已知结果相匹配，实现了Tsybakov（2008）定义的最优收敛速率。
• 过剩风险被界定为包含 $ \Sigma(\Sigma + \lambda I)^{-1}(\Sigma + \frac{\lambda}{2}I)^{-1}E_0 $ 迹的项，其中 $ E_0 = \mathbb{E}[\|w_0 - w^*\|^2] $，用于捕捉初始偏差。
• 方差分量被界定为 $ \frac{\eta \sigma^2}{2 - \eta R^2} \cdot \mbox{tr}[\Sigma^2(\Sigma + \lambda I)^{-2}] $，用于控制噪声敏感度。
• 归一化常数 $ c_n $ 满足 $ c_n^2 \leq \frac{1}{\gamma^2} \cdot \frac{1}{(1 - (1 - \gamma\lambda)^n)^2} $，确保在适当衰减下收敛。
• 该方法可仅通过一次SGD运行并存储迭代点，高效实现多个正则化水平的离线计算，支持并行与可扩展的模型选择。