[论文解读] A theory on the absence of spurious solutions for nonconvex and nonsmooth optimization

Cédric Josz, Yi Ouyang+3 more|arXiv (Cornell University)|May 21, 2018

Advanced Optimization Algorithms Research被引用 22

一句话总结

本文引入了“全局函数”的概念——即无虚假局部极小值的连续函数——证明了在拉普拉斯噪声下出现的某些非凸、非光滑优化问题（如矩阵与张量恢复）可通过局部搜索实现全局求解。关键贡献在于理论证明：在低秩张量分解中最小化基于 $\varepsilon_1$-范数的目标函数时，仅存在全局极小值，从而在存在稀疏异常值的情况下实现鲁棒恢复。

ABSTRACT

We study the set of continuous functions that admit no spurious local optima (i.e. local minima that are not global minima) which we term extit{global functions}. They satisfy various powerful properties for analyzing nonconvex and nonsmooth optimization problems. For instance, they satisfy a theorem akin to the fundamental uniform limit theorem in the analysis regarding continuous functions. Global functions are also endowed with useful properties regarding the composition of functions and change of variables. Using these new results, we show that a class of nonconvex and nonsmooth optimization problems arising in tensor decomposition applications are global functions. This is the first result concerning nonconvex methods for nonsmooth objective functions. Our result provides a theoretical guarantee for the widely-used $\ell_1$ norm to avoid outliers in nonconvex optimization.

研究动机与目标

• 解决在拉普拉斯噪声或稀疏噪声下，矩阵与张量恢复中非凸、非光滑优化缺乏理论保证的问题。
• 建立非凸、非光滑目标函数不出现虚假局部极小值的条件。
• 提出一种新的数学框架——全局函数，用于分析此类问题。
• 证明在秩一张量分解中基于 $\varepsilon_1$-范数的目标函数可通过局部优化实现全局可解。
• 将现有关于光滑、凸松弛问题的结果扩展至具有抗异常值能力的非光滑、非凸形式。

提出的方法

• 引入“全局函数”的概念——即所有局部极小值均为全局极小值的连续函数，将经典分析方法推广至非凸、非光滑场景。
• 建立基础性质：类似一致极限定理的结论、复合规则，以及在变量变换下保持不变的性质，适用于全局函数。
• 将这些性质应用于证明函数 $ f_1(x) = \sum_{i_1,\ldots,i_d=1}^n |x_{i_1}\cdots x_{i_d} - y_{i_1}\cdots y_{i_d}| $ 是全局函数。
• 利用Clarke广义导数分析一阶最优性条件，并推导驻点的必要条件。
• 采用Karush-Kuhn-Tucker条件与线性规划重构方法，证明在约束子集上不存在虚假极小值。
• 表明可行集 $ S $ 上的目标函数等价于涉及线性函数与幂函数的复合形式，而这些函数通过线性规划等价性被证明为全局函数。

实验结果

研究问题

• RQ1 涉及 $\ell_1$-范数目标函数的非凸、非光滑优化问题是否可保证无虚假局部极小值？
• RQ2 在拉普拉斯噪声或稀疏异常值下，张量分解问题是否仍保持无虚假极小值？
• RQ3 能否定义一类新函数——全局函数，以统一分析具有全局最优性保证的非凸、非光滑优化问题？
• RQ4 复合与变量变换等性质如何影响非光滑函数的全局最优性结构？
• RQ5 能否将光滑、凸松弛矩阵补全问题的理论保证扩展至具有抗异常值能力的非光滑、非凸形式？

主要发现

• 函数 $ f_1(x) = \sum_{i_1,\ldots,i_d=1}^n |x_{i_1}\cdots x_{i_d} - y_{i_1}\cdots y_{i_d}| $ 无虚假局部极小值，确保任意局部极小值即为全局最优解。
• $ f_1 $ 的一阶驻点满足：当 $ y_i = 0 $ 时必有 $ x_i = 0 $，且对所有指标均有 $ \frac{x_{i_1}\cdots x_{i_d}}{y_{i_1}\cdots y_{i_d}} \leq 1 $。
• 当 $ y_1\cdots y_n \neq 0 $ 时，函数 $ f_1 $ 在集合 $ S = \{ x \mid \frac{x_{i_1}\cdots x_{i_d}}{y_{i_1}\cdots y_{i_d}} \leq 1 \} $ 上为全局函数，因其在此定义域上等价于线性或二次规划问题。
• 该结果对偶数阶与奇数阶张量均成立，证明依赖于在单纯形象限中的分解，并通过KKT条件与线性规划建立关联。
• 全局函数框架为非凸优化中基于 $\ell_1$-范数的目标函数提供了理论分析工具，首次为非光滑、非凸问题提供了此类保证。
• 该理论解释了为何在使用 $\ell_1$-范数目标函数时，随机梯度下降能在稀疏噪声下成功恢复低秩矩阵，而基于 $\ell_2$-范数的光滑形式则会失效。