[論文レビュー] A theory on the absence of spurious optimality

Cédric Josz, Yi Ouyang+3 more|arXiv (Cornell University)|May 21, 2018

Tensor decomposition and applications参考文献 12被引用数 2

ひとこと要約

本稿では、余分な局所的最小値をもたない連続関数である「グローバル関数」を導入し、その理論的性質を確立している。特に、合成や変数変換に対して安定であることが示されている。著者らは、特定の非凸的かつ非滑らかなテンソル分解問題がグローバル関数に属することを証明し、ℓ₁ノルムがこのような設定において外れ値を効果的に回避することを初めて理論的に保証した。

ABSTRACT

We study the set of continuous functions that admit no spurious local optima (i.e. local minima that are not global minima) which we term extit{global functions}. They satisfy various powerful properties for analyzing nonconvex and nonsmooth optimization problems. For instance, they satisfy a theorem akin to the fundamental uniform limit theorem in the analysis regarding continuous functions. Global functions are also endowed with useful properties regarding the composition of functions and change of variables. Using these new results, we show that a class of nonconvex and nonsmooth optimization problems arising in tensor decomposition applications are global functions. This is the first result concerning nonconvex methods for nonsmooth objective functions. Our result provides a theoretical guarantee for the widely-used $\ell_1$ norm to avoid outliers in nonconvex optimization.

研究の動機と目的

• 余分な局所的最小値をもたない連続関数、すなわち「グローバル関数」としてのクラスを同定し、その特徴を特定すること。
• 微分積分学における古典的結果（たとえば一様極限定理など）に類似した、グローバル関数の基礎的定理を確立すること。
• テンソル分解における非凸的かつ非滑らかな最適化問題がグローバル関数のクラスに属することを示すこと。
• 非凸最適化におけるℓ₁正則化が外れ値を回避する有効性を理論的に裏付けること。

提案手法

• グローバル関数を、すべての局所的最小値がグローバル最小値である連続関数として定義する。
• グローバル関数が一様極限、連続関数との合成、滑らかな変数変換に関して閉じていることを証明する。
• 理論を非凸的かつ非滑らかな最適化問題のクラス（テンソル分解に由来する問題）に適用する。
• グローバル関数の構造的性質を用いて、ℓ₁正則化付きテンソル分解の目的関数が余分な局所的最小値をもたないことを示す。
• 微分同相変換に関してグローバル関数が不変であるという性質を活用し、再パrameter化された最適化問題への結果の拡張を図る。
• 非凸的かつ非滑らかな設定に古典的凸性に類する保証を一般化する、新しい理論的枠組みを確立する。

実験結果

リサーチクエスチョン

• RQ1 どの非凸的かつ非滑らかな関数のクラスが、余分な局所的最小値をもたないと保証されるか？
• RQ2 最適化において、グローバル関数は合成や変数変換に関してどのように振る舞うか？
• RQ3 ℓ₁正則化付きテンソル分解問題が余分な局所的最小値をもたないと証明できるか？
• RQ4 非凸最適化においてℓ₁正則化が外れ値を回避する仕組みを保証する理論的性質は何か？
• RQ5 一様極限定理などの古典的解析定理は、どの程度非凸的かつ非滑らかな設定に拡張可能か？

主な発見

• グローバル関数のクラスは一様極限に関して閉じており、非凸的かつ非滑らかな設定に古典的解析の結果を拡張している。
• グローバル関数は連続関数との合成および滑らかな変数変換に関して保存され、より広範な応用が可能になる。
• ℓ₁正則化付きの非凸的かつ非滑らかなテンソル分解問題のクラスがグローバル関数に属することが証明され、余分な局所的最小値が存在しないことが示された。
• これは、非凸的かつ非滑らかな最適化においてℓ₁正則化が余分な最小値をもたないと保証する、初めての理論的結果である。
• 目的関数に余分な局所的最小値が存在しないため、ℓ₁ノルムが非凸最適化における外れ値耐性を高めることを理論的に裏付ける。