[论文解读] Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions

Jingzhao Zhang, Hongzhou Lin+3 more|arXiv (Cornell University)|Feb 10, 2020

Stochastic Gradient Optimization Techniques参考文献 42被引用 15

一句话总结

该论文提出了 $(\delta,\epsilon)$-平稳性框架，以解决在非光滑非凸优化中寻找 $\epsilon$-平稳点的不可行性问题。在确定性和随机设置下，该论文分别提出了复杂度为 $\tilde{\mathcal{O}}(\epsilon^{-3}\delta^{-1})$ 和 $\tilde{\mathcal{O}}(\epsilon^{-4}\delta^{-1})$ 的随机一阶算法，并建立了 $\Omega(\delta^{-1})$ 的下界，首次为如 ReLU 网络这类 Hadamard 半可微函数提供了非渐近分析。

ABSTRACT

We provide the first non-asymptotic analysis for finding stationary points of nonsmooth, nonconvex functions. In particular, we study the class of Hadamard semi-differentiable functions, perhaps the largest class of nonsmooth functions for which the chain rule of calculus holds. This class contains examples such as ReLU neural networks and others with non-differentiable activation functions. We first show that finding an $ε$-stationary point with first-order methods is impossible in finite time. We then introduce the notion of $(δ, ε)$-stationarity, which allows for an $ε$-approximate gradient to be the convex combination of generalized gradients evaluated at points within distance $δ$ to the solution. We propose a series of randomized first-order methods and analyze their complexity of finding a $(δ, ε)$-stationary point. Furthermore, we provide a lower bound and show that our stochastic algorithm has min-max optimal dependence on $δ$. Empirically, our methods perform well for training ReLU neural networks.

研究动机与目标

• 为解决非光滑非凸优化中非渐近收敛分析的根本性空白，特别是针对具有不可微激活函数（如 ReLU）的函数。
• 证明在利普希茨连续且方向可微的函数中，有限时间内无法找到传统 $\epsilon$-平稳点。
• 引入一种改进的平稳性概念，即 \/(\delta,\epsilon)\)-平稳性，使得在放宽条件下能够实现有限时间收敛分析。
• 设计并分析在确定性和随机设置下寻找 $(\delta,\epsilon)$-平稳点的最优复杂度的随机一阶算法。
• 通过实验证明该理论框架的有效性，展示在使用 ReLU 激活函数的 ResNet 训练中具有竞争力的性能。

提出的方法

• 引入 $(\delta,\epsilon)$-平稳性：若点 $\bar{x}$ 的 $\delta$-邻域内所有点的广义梯度的凸组合所构成的集合，其 $\epsilon$-球内包含原点，则称 $\bar{x}$ 为 $(\delta,\epsilon)$-平稳点。
• 提出一种归一化梯度下降风格的算法用于确定性设置，实现寻找 $(\delta,\epsilon)$-平稳点的复杂度为 $\tilde{\mathcal{O}}(\epsilon^{-3}\delta^{-1})$。
• 设计一种基于动量的随机算法用于有限方差设置，实现复杂度为 $\tilde{\mathcal{O}}(\epsilon^{-4}\delta^{-1})$。
• 使用广义梯度预言机，返回当前迭代点附近 $\delta$ 范围内点的次梯度，从而实现对平稳性的局部近似。
• 建立预言机调用次数的 $\Omega(\delta^{-1})$ 下界，证明在 $\delta$ 依赖关系上达到最小最大最优性。
• 实现一种随机变体 Stochastic-Ingd，利用 PyTorch 的自动微分近似广义梯度预言机，以在实际中应用。

实验结果

研究问题

• RQ1 对于非光滑非凸函数，是否能在有限时间内找到传统的 $\epsilon$-平稳点？
• RQ2 是否存在一种改进的平稳性概念，使得非光滑非凸问题能够实现有限时间、非渐近的收敛分析？
• RQ3 在确定性和随机设置下，寻找 $(\delta,\epsilon)$-平稳点的最优复杂度是多少？
• RQ4 动量和自适应技术在非光滑设置下是否具有理论依据，尽管它们在实践中表现有效？
• RQ5 所提出的框架是否弥合了训练深层 ReLU 网络时的理论与实践之间的鸿沟？

主要发现

• 对于利普希茨连续且方向可微的函数，即使拥有广义梯度预言机，也无法在有限时间内找到 $\epsilon$-平稳点。
• 所提出的 $(\delta,\epsilon)$-平稳性概念在有限时间分析中是必要且充分的，因为 $\delta > 0$ 是避免不可行性的必要条件。
• 确定性算法实现了寻找 $(\delta,\epsilon)$-平稳点的复杂度为 $\tilde{\mathcal{O}}(\epsilon^{-3}\delta^{-1})$，其在 $\delta$ 依赖上与 $\Omega(\delta^{-1})$ 下界一致。
• 基于动量的随机算法实现了 $\tilde{\mathcal{O}}(\epsilon^{-4}\delta^{-1})$ 的复杂度，该复杂度在对数因子范围内达到最优。
• 实验结果表明，所提出的 Stochastic-Ingd 算法在性能上与带有动量的 SGD 相当，并在 CIFAR-10 上的 ResNet 训练中优于 ADAM。
• 结果表明，在非光滑设置下，动量和自适应方法可能是理论上的必要选择，这与光滑非凸理论中它们可能降低收敛速度的观点形成对比。