[论文解读] Active strict saddles in nonsmooth optimization

Damek Davis, Dmitriy Drusvyatskiy|arXiv (Cornell University)|Dec 16, 2019

Stochastic Gradient Optimization Techniques参考文献 39被引用 4

一句话总结

本文引入了主动严格鞍点性质——一种针对非光滑、弱凸函数的几何直观条件——该条件确保在随机初始化下，近端算法仅收敛至局部极小值。主要贡献在于证明该性质在半代数优化问题中具有普遍性，从而在非光滑设置下实现了收敛性保证。

ABSTRACT

We introduce a geometrically transparent strict saddle property for nonsmooth functions. This property guarantees that simple proximal algorithms on weakly convex problems converge only to local minimizers, when randomly initialized. We argue that the strict saddle property may be a realistic assumption in applications, since it provably holds for generic semi-algebraic optimization problems.

研究动机与目标

• 解决非光滑、弱凸优化问题中缺乏收敛至局部极小值的保证问题。
• 定义一个几何直观的条件，以排除在非光滑设置下收敛至鞍点的可能性。
• 建立严格鞍点性质在半代数优化问题中具有普遍性的结论，使其在实际应用中成为合理假设。
• 为近端算法在非光滑非凸优化中的有效性提供理论依据。

提出的方法

• 引入主动严格鞍点性质作为几何条件，用于刻画所有临界点均为局部极小值或具有严格下降方向的函数。
• 将该性质应用于弱凸函数，确保在随机初始化下近端算法可避免严格鞍点。
• 利用半代数几何工具，证明严格鞍点性质对一类典型的半代数函数普遍成立。
• 分析在主动严格鞍点条件下近端算法的行为，证明其以几乎必然性收敛至局部极小值。
• 依赖活动集和方向导数的概念，定义非光滑设置下的严格鞍点条件。

实验结果

研究问题

• RQ1 能否为非光滑、弱凸函数定义一个几何直观的严格鞍点条件？
• RQ2 主动严格鞍点性质是否能确保近端算法避免鞍点并仅收敛至局部极小值？
• RQ3 严格鞍点性质是否为半代数优化问题中的普遍性质？
• RQ4 考虑到该条件在一大类实际问题中具有可证明的有效性，其在实际中是否具有相关性？

主要发现

• 主动严格鞍点性质具有清晰的几何直观性，并将经典严格鞍点条件推广至非光滑函数。
• 当主动严格鞍点性质成立时，随机初始化的近端算法几乎必然收敛至局部极小值。
• 严格鞍点性质在所有半代数优化问题中均可被证明成立，使其成为普遍且现实的假设。
• 该结果为近端方法在非光滑非凸优化中经验上的成功提供了理论基础。