[论文解读] Deterministic Nonsmooth Nonconvex Optimization

Michael I. Jordan, Guy Kornowski+3 more|arXiv (Cornell University)|Feb 16, 2023

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文通过证明任何确定性一阶算法的下界为$Ω(d)$，解决了在非光滑非凸优化中确定性算法能否实现无维复杂度的开放问题，表明随机化是必要的。此外，本文确立了零阶预言机访问在确定性设置中实现有限时间收敛的必要性，并提出一种新颖的白盒确定性平滑方法，适用于ReLU网络，从而在实践中规避了该下界，实现无维优化。

ABSTRACT

We study the complexity of optimizing nonsmooth nonconvex Lipschitz functions by producing $(δ,ε)$-stationary points. Several recent works have presented randomized algorithms that produce such points using $ ilde O(δ^{-1}ε^{-3})$ first-order oracle calls, independent of the dimension $d$. It has been an open problem as to whether a similar result can be obtained via a deterministic algorithm. We resolve this open problem, showing that randomization is necessary to obtain a dimension-free rate. In particular, we prove a lower bound of $Ω(d)$ for any deterministic algorithm. Moreover, we show that unlike smooth or convex optimization, access to function values is required for any deterministic algorithm to halt within any finite time. On the other hand, we prove that if the function is even slightly smooth, then the dimension-free rate of $ ilde O(δ^{-1}ε^{-3})$ can be obtained by a deterministic algorithm with merely a logarithmic dependence on the smoothness parameter. Motivated by these findings, we turn to study the complexity of deterministically smoothing Lipschitz functions. Though there are efficient black-box randomized smoothings, we start by showing that no such deterministic procedure can smooth functions in a meaningful manner, resolving an open question. We then bypass this impossibility result for the structured case of ReLU neural networks. To that end, in a practical white-box setting in which the optimizer is granted access to the network's architecture, we propose a simple, dimension-free, deterministic smoothing that provably preserves $(δ,ε)$-stationary points. Our method applies to a variety of architectures of arbitrary depth, including ResNets and ConvNets. Combined with our algorithm, this yields the first deterministic dimension-free algorithm for optimizing ReLU networks, circumventing our lower bound.

研究动机与目标

• 确定确定性算法是否能在优化非光滑非凸Lipschitz函数时实现无维复杂度。
• 研究随机化和零阶预言机访问在该类问题的确定性算法中的必要性。
• 为ReLU神经网络开发一种保持$(\delta,\epsilon)$-Goldstein平稳点的确定性平滑方法，并实现无维优化。
• 解决关于Lipschitz函数是否存在高效确定性黑盒平滑方法的开放问题。

提出的方法

• 证明任何确定性一阶算法在寻找$(\delta,\epsilon)$-Goldstein平稳点时，其复杂度下界为$\Omega(d)$，表明为实现无维速率必须依赖随机化。
• 确立仅使用梯度预言机的确定性算法无法保证在有限时间内收敛至$(\delta,\epsilon)$-Goldstein平稳点，必须依赖函数值访问（即零阶预言机）。
• 在白盒设置下，提出一种针对ReLU网络的确定性平滑过程，利用网络结构知识以保持$(\delta,\epsilon)$-Goldstein平稳性。
• 通过证明不存在高效的黑盒确定性平滑方法能为一般Lipschitz函数提供有意义的保证，分析了平滑的复杂度。
• 将所提出的确定性平滑方法与无维算法结合，用于处理略微平滑函数，实现$\widetilde{O}(\delta^{-1}\epsilon^{-3})$的预言机复杂度，且对平滑参数仅具有对数依赖。
• 通过归纳分析和对次梯度范数与邻域半径的递归界分析，建立在所提平滑下的收敛性保证。

实验结果

研究问题

• RQ1 是否可能在确定性非光滑非凸优化中实现无维速率？
• RQ2 零阶预言机的使用是否能实现确定性算法在该问题上的有限时间收敛？
• RQ3 能否存在一种有效的确定性黑盒平滑程序，对任意Lipschitz函数实现有意义的平滑？
• RQ4 能否利用网络结构知识，为ReLU神经网络构造一种确定性、无维的算法？
• RQ5 在确定性优化非光滑非凸函数时，平滑性与维数依赖之间的权衡是什么？

主要发现

• 任何用于寻找$(\delta,\epsilon)$-Goldstein平稳点的确定性一阶算法，其预言机调用次数均存在$\Omega(d)$的下界，证明了为实现无维复杂度，随机化是必要的。
• 仅使用梯度信息的确定性算法，若无函数值访问，无法保证在有限时间内收敛至$(\delta,\epsilon)$-Goldstein平稳点，从而确立了零阶预言机的必要性。
• 对于略微平滑的函数，所提确定性算法实现了最优的无维速率$\widetilde{O}(\delta^{-1}\epsilon^{-3})$，且对平滑参数仅具有对数依赖。
• 不存在高效的确定性黑盒平滑程序，能够对一般Lipschitz函数提供有意义的平滑，从而解决了文献中的一个开放问题。
• 提出一种新颖的白盒确定性平滑方法，适用于任意深度的ReLU网络，包括ResNets和ConvNets，且能保持$(\delta,\epsilon)$-Goldstein平稳性。
• 将所提白盒平滑方法与略微平滑算法结合，首次实现了用于优化ReLU网络的确定性、无维算法，从而规避了通用下界。