[论文解读] Stochastic Nonconvex Optimization with Large Minibatches

Weiran Wang, Nathan Srebro|arXiv (Cornell University)|Sep 25, 2017

Stochastic Gradient Optimization Techniques参考文献 33被引用 13

一句话总结

该论文提出了一种新颖的随机优化算法，用于非凸目标函数——特别是深度学习——通过在每个小批量上正则化和非线性化损失来实现。与标准的小批量SGD相比，该方法在理论保证下实现了更快的近似临界点收敛速度，同时在样本复杂度方面表现更优，并通过使用更大的小批量实现了更好的并行化。

ABSTRACT

We study stochastic optimization of nonconvex loss functions, which are typical objectives for training neural networks. We propose stochastic approximation algorithms which optimize a series of regularized, nonlinearized losses on large minibatches of samples, using only first-order gradient information. Our algorithms provably converge to an approximate critical point of the expected objective with faster rates than minibatch stochastic gradient descent, and facilitate better parallelization by allowing larger minibatches.

研究动机与目标

• 解决使用大批次训练深度神经网络时面临的挑战，尽管并行化性能提升，但模型性能通常会下降。
• 理论上分析标准小批量SGD在非凸优化中的局限性，特别是当小批量大小超过某一阈值时泛化性能下降的问题。
• 设计一种新算法，通过利用一阶梯度信息对大批次上的损失进行正则化，从而在理论上证明其能更快收敛到近似临界点。
• 提供关于样本复杂度和收敛速率的理论边界，其性能优于标准小批量SGD，尤其在大批次设置下表现更优。
• 通过提供一个理论上有依据的方法，使深度网络在使用大批次时仍能保持良好的泛化性能，从而促进实际训练。

提出的方法

• 提出一种随机逼近算法，仅使用一阶梯度信息，在每个大批次上优化正则化且非线性化的损失函数。
• 引入一个依赖于局部曲率（通过Hessian矩阵近似）的正则化项，以稳定非凸目标函数的优化过程。
• 通过迭代点的加权平均方案，实现对期望损失近似临界点的收敛。
• 应用递减步长调度 $\eta_s = \frac{V^2 S}{L m} \cdot \frac{1}{s^5}$，以确保收敛性，同时平衡方差与偏差。
• 利用 $\sigma$-几乎凸性概念来表征具有有界负曲率的非凸函数，从而实现更紧密的收敛性分析。
• 使用递推不等式和引理8（来自Schmidt等人）来界定到最优解的期望距离以及目标函数值的差距。

实验结果

研究问题

• RQ1 为何在标准SGD中使用大批次训练深度神经网络会导致泛化性能下降，尽管并行化性能得到了提升？
• RQ2 我们能否设计一种随机优化算法，在非凸设置下使用大批次时仍能保持快速收敛和良好泛化性能？
• RQ3 在使用大批次进行非凸随机优化时，针对收敛到近似临界点，可以提供哪些理论保证？
• RQ4 在相同假设下，所提算法的收敛速率与标准小批量SGD相比如何？
• RQ5 几乎凸性特性在大批次设置下如何促进非凸目标函数的更快收敛？

主要发现

• 所提算法在 $\mathcal{O}(1/\varepsilon^2)$ 个样本内实现 $\mathbb{E}[\|\nabla \phi(\mathbf{w})\|^2] \leq \varepsilon^2$ 的收敛速率，相较于标准小批量SGD在大批次设置下样本复杂度更优。
• 该算法的收敛速率随小批量大小 $m$ 的增大而有利改善，其界为 $\mathbb{E}[\sum_{s=1}^S s(F(\mathbf{x}_s) - F(\mathbf{x}^*))] \leq \frac{100V^2 S}{\lambda m}$，显示出对 $m$ 的更优依赖关系。
• 通过利用损失函数的 $\sigma$-几乎凸性，该方法在理论上证明了其收敛速度优于标准小批量SGD，能更快收敛到近似临界点。
• 理论分析表明，即使在大批次设置下，该算法仍能保持良好的泛化性能，从而解决了大批次训练中常见的性能下降问题。
• 在大批次上使用正则化和非线性化，可在不牺牲收敛速度或解质量的前提下，实现更好的并行化性能。
• 该算法实现 $\mathcal{O}(1/\varepsilon^2)$ 的样本复杂度，且期望函数值差距的界为 $\mathcal{O}(1/m)$，表明在大批次下效率更高。