[论文解读] Efficiently avoiding saddle points with zero order methods: No gradients required

Lampros Flokas, Emmanouil-Vasileios Vlatakis-Gkaragkounis+1 more|arXiv (Cornell University)|Oct 29, 2019

Stochastic Gradient Optimization Techniques参考文献 39被引用 7

一句话总结

本文提出了一种零阶优化方法，能够在无需梯度信息的情况下高效避免非凸优化中的鞍点。通过结合带有噪声的近似梯度估计与基于稳定流形定理的分析，该方法仅使用 $\tilde{\mathcal{O}}(1/\epsilon^2)$ 次函数评估，即可实现对二阶平稳点的收敛——其收敛速率与一阶方法相当，且避免了与维度相关的减速。

ABSTRACT

We consider the case of derivative-free algorithms for non-convex optimization, also known as zero order algorithms, that use only function evaluations rather than gradients. For a wide variety of gradient approximators based on finite differences, we establish asymptotic convergence to second order stationary points using a carefully tailored application of the Stable Manifold Theorem. Regarding efficiency, we introduce a noisy zero-order method that converges to second order stationary points, i.e avoids saddle points. Our algorithm uses only $ ilde{\mathcal{O}}(1 / ε^2)$ approximate gradient calculations and, thus, it matches the converge rate guarantees of their exact gradient counterparts up to constants. In contrast to previous work, our convergence rate analysis avoids imposing additional dimension dependent slowdowns in the number of iterations required for non-convex zero order optimization.

研究动机与目标

• 解决在梯度不可用或难以计算的场景下非凸优化的挑战。
• 开发一种可证明避免严格鞍点并收敛至二阶平稳点（SOSPs）的零阶方法。
• 在函数评估次数方面匹配一阶方法的收敛速率，避免与维度相关的减速。
• 通过稳定流形定理的精细化应用，建立渐近收敛保证，适用于零阶算法。

提出的方法

• 采用带有噪声的零阶方法，通过函数评估中的有限差分近似梯度。
• 应用扰动策略，利用稳定流形定理实现对鞍点的逃离。
• 通过精心设计的步长与噪声水平，确保以高概率收敛至SOSPs。
• 通过零阶迭代的新型稳定流形定理应用分析收敛性。
• 将函数评估次数控制在 $\tilde{\mathcal{O}}(d/\epsilon^2)$ 以内，与一阶方法的效率相当。
• 提出一个理论框架，用于分析在无梯度访问条件下逃离鞍点的过程。

实验结果

研究问题

• RQ1 在无梯度访问的情况下，零阶方法能否高效避免非凸优化中的鞍点？
• RQ2 是否仅通过函数评估即可实现对二阶平稳点的收敛？
• RQ3 零阶方法的收敛速率是否能在函数评估次数上与一阶方法相当？
• RQ4 所提方法是否避免了先前零阶方法中常见的与维度相关的减速？
• RQ5 稳定流形定理能否有效应用于分析零阶优化动力学？

主要发现

• 所提出的零阶方法渐近收敛至二阶平稳点，成功避免了严格鞍点。
• 该方法仅需 $\tilde{\mathcal{O}}(1/\epsilon^2)$ 次近似梯度评估，其速率与一阶方法一致。
• 函数评估次数为 $\tilde{\mathcal{O}}(d/\epsilon^2)$，避免了信赖域方法中 $\tilde{\mathcal{O}}(d^4/\epsilon^4)$ 的代价。
• 通过在鞍点附近扰动并利用稳定流形上的体积论证，算法以高概率 $1 - \delta$ 实现收敛。
• 分析过程避免了与维度相关的减速，不同于以往工作所导致的 $\tilde{\mathcal{O}}(d/\epsilon^2)$ 次迭代及更高的函数评估成本。
• 通过将稳定流形定理精细化应用于带噪声的零阶迭代，建立了理论保证。