[论文解读] A General Family of Stochastic Proximal Gradient Methods for Deep Learning

Jihun Yun, Aurélie Lozano+1 more|arXiv (Cornell University)|Jul 15, 2020

Stochastic Gradient Optimization Techniques参考文献 41被引用 7

一句话总结

本文提出了 ProxGen，一种适用于深度学习的通用随机近似梯度方法族，支持任意正定预条件矩阵和下半连续（包括非凸）正则化项。该方法建立了与标准随机近似梯度下降相当的收敛性保证，并提出了 ℓq 正则化（0 ≤ q ≤ 1）的新型闭式近端映射，以及对量化方法 ProxQuant 的修正版本。实验表明，近端方法在使用非凸正则化项时显著优于次梯度方法。

ABSTRACT

We study the training of regularized neural networks where the regularizer can be non-smooth and non-convex. We propose a unified framework for stochastic proximal gradient descent, which we term ProxGen, that allows for arbitrary positive preconditioners and lower semi-continuous regularizers. Our framework encompasses standard stochastic proximal gradient methods without preconditioners as special cases, which have been extensively studied in various settings. Not only that, we present two important update rules beyond the well-known standard methods as a byproduct of our approach: (i) the first closed-form proximal mappings of $\ell_q$ regularization ($0 \leq q \leq 1$) for adaptive stochastic gradient methods, and (ii) a revised version of ProxQuant that fixes a caveat of the original approach for quantization-specific regularizers. We analyze the convergence of ProxGen and show that the whole family of ProxGen enjoys the same convergence rate as stochastic proximal gradient descent without preconditioners. We also empirically show the superiority of proximal methods compared to subgradient-based approaches via extensive experiments. Interestingly, our results indicate that proximal methods with non-convex regularizers are more effective than those with convex regularizers.

研究动机与目标

• 开发一个统一的随机近端梯度下降框架，支持深度学习中的任意正定预条件矩阵和非光滑、非凸正则化项。
• 解决自适应随机近端方法在使用预条件矩阵和非凸正则化项时缺乏理论收敛性保证的问题。
• 推导 ℓq 正则化（0 ≤ q ≤ 1）的闭式近端映射，以实现自适应方法中的高效计算。
• 通过将 ProxQuant 方法整合进 ProxGen 框架，修正其原始方法中的缺陷，以实现网络量化。
• 通过实证验证，近端方法在使用非凸正则化项时优于基于次梯度的方法以及标准近端方法。

提出的方法

• 提出 ProxGen，一种通用的随机近端梯度下降框架，整合任意正定预条件矩阵与下半连续正则化项。
• 推导出一种新颖的更新规则，结合损失函数上的梯度下降与正则化项上的精确近端映射，即使在非凸和非光滑正则化项下也适用。
• 通过分析到驻点距离的 Lyapunov 函数并控制随机梯度方差，建立收敛速率。
• 提出 ℓq 正则化（0 ≤ q ≤ 1）的闭式近端映射，计算效率高，适用于自适应方法。
• 通过修正其更新规则，改进 ProxQuant 方法，确保其满足正确的近端下降性质，从而提升量化感知训练的稳定性和收敛性。
• 采用基于动量的更新策略，结合自适应学习率与梯度的指数移动平均，确保在非凸和非光滑设置下的收敛性。

实验结果

研究问题

• RQ1 能否设计一个统一的随机近端梯度框架，以支持深度学习中任意正定预条件矩阵和非凸正则化项？
• RQ2 ℓq 正则化（0 ≤ q ≤ 1）的闭式近端映射是否能提升自适应优化中的训练效率与稳定性？
• RQ3 ProxGen 框架能否修正原始 ProxQuant 方法在神经网络量化中的收敛性问题？
• RQ4 ProxGen 的收敛速率是否与无预条件矩阵的标准随机近端梯度下降相当？
• RQ5 在实践中，使用非凸正则化项的近端方法是否显著优于基于次梯度的方法和凸正则化项？

主要发现

• 尽管引入了自适应学习率和通用正则化项，ProxGen 的收敛速率与无预条件矩阵的标准随机近端梯度下降保持一致。
• 该框架实现了 ℓq 正则化（0 ≤ q ≤ 1）的闭式近端映射，这是以往工作所不具备的，显著提升了计算效率。
• 在 ProxGen 框架内改进后的 ProxQuant 方法修复了原始方法中的关键缺陷，实现了更稳定、更精确的量化感知训练。
• 实验结果表明，使用非凸正则化项的近端方法在收敛速度和最终模型性能方面显著优于基于次梯度的方法和凸正则化项。
• 理论分析表明，收敛速率取决于随机梯度方差与预条件矩阵的稳定性，且常数与迭代次数 T 无关。
• 该框架具有足够的通用性，当不使用预条件矩阵或特定正则化项时，可包含 AdaGrad、RMSProp 和 Adam 等现有方法作为特例。