[论文解读] A theory on the absence of spurious optimality

Cédric Josz, Yi Ouyang+3 more|arXiv (Cornell University)|May 21, 2018

Tensor decomposition and applications参考文献 12被引用 2

一句话总结

本文引入了‘全局函数’——即无虚假局部极小值的连续函数——并建立了其理论性质，包括在复合与变量变换下的稳定性。作者证明了某些非凸、非光滑的张量分解问题属于全局函数，首次提供了理论保证：ℓ₁ 范数在这些设定下能有效避免异常值的影响。

ABSTRACT

We study the set of continuous functions that admit no spurious local optima (i.e. local minima that are not global minima) which we term extit{global functions}. They satisfy various powerful properties for analyzing nonconvex and nonsmooth optimization problems. For instance, they satisfy a theorem akin to the fundamental uniform limit theorem in the analysis regarding continuous functions. Global functions are also endowed with useful properties regarding the composition of functions and change of variables. Using these new results, we show that a class of nonconvex and nonsmooth optimization problems arising in tensor decomposition applications are global functions. This is the first result concerning nonconvex methods for nonsmooth objective functions. Our result provides a theoretical guarantee for the widely-used $\ell_1$ norm to avoid outliers in nonconvex optimization.

研究动机与目标

• 识别并表征无虚假局部极小值的连续函数，称为‘全局函数’。
• 建立类似于经典分析中结果（如一致极限定理）的全局函数基础定理。
• 证明非凸、非光滑张量分解中的优化问题属于全局函数类别。
• 为 ℓ₁ 正则化在避免非凸优化中异常值的高效性提供理论依据。

提出的方法

• 将全局函数定义为所有局部极小值均为全局极小值的连续函数。
• 证明全局函数在一致极限下封闭，且在与连续函数复合及光滑变量变换下保持不变。
• 将该理论应用于分析一类在张量分解中出现的非凸、非光滑优化问题。
• 利用全局函数的结构特性，证明 ℓ₁-正则化的张量分解目标函数无虚假局部极小值。
• 利用全局函数在微分同胚变换下的不变性，将结果推广至重参数化的优化问题。
• 建立一个新颖的理论框架，将经典凸性类保证推广至非凸、非光滑设定。

实验结果

研究问题

• RQ1 哪些类别的非凸、非光滑函数可保证无虚假局部极小值？
• RQ2 在优化中，全局函数在复合与变量变换下的行为如何？
• RQ3 能否证明带 ℓ₁ 正则化的张量分解问题无虚假局部极小值？
• RQ4 何种理论性质可确保 ℓ₁ 正则化在非凸优化中避免异常值？
• RQ5 经典分析定理（如一致极限定理）在多大程度上可推广至非凸与非光滑设定？

主要发现

• 全局函数类在一致极限下封闭，将经典分析结果推广至非凸与非光滑设定。
• 全局函数在与连续函数复合及光滑变量变换下保持不变，增强了其适用范围。
• 一类带 ℓ₁ 正则化的非凸、非光滑张量分解问题被证明为全局函数，意味着不存在虚假局部极小值。
• 这是首个在非凸、非光滑优化中通过 ℓ₁ 正则化实现无虚假极小值的理论结果。
• 由于目标函数中无虚假局部极小值，ℓ₁ 范数在理论上被证明可增强非凸优化中对异常值的鲁棒性。