[論文レビュー] A theory on the absence of spurious solutions for nonconvex and nonsmooth optimization

Cédric Josz, Yi Ouyang+3 more|arXiv (Cornell University)|May 21, 2018

Advanced Optimization Algorithms Research被引用数 22

ひとこと要約

本稿では、余分な局所的最小値をもたない連続関数である「グローバル関数」の概念を導入し、ラプラシアンノイズを伴う行列およびテンソル回復における非凸で非滑らかである最適化問題が、局所的探索によってグローバルに解けることを証明する。主な貢献は、低ランクテンソル分解における $ε_1$-ノルムに基づく目的関数を最小化すると、唯一のグローバル最小値しか得られず、スパースな外れ値に対してもロバストな回復が可能になるという理論的保証である。

ABSTRACT

We study the set of continuous functions that admit no spurious local optima (i.e. local minima that are not global minima) which we term extit{global functions}. They satisfy various powerful properties for analyzing nonconvex and nonsmooth optimization problems. For instance, they satisfy a theorem akin to the fundamental uniform limit theorem in the analysis regarding continuous functions. Global functions are also endowed with useful properties regarding the composition of functions and change of variables. Using these new results, we show that a class of nonconvex and nonsmooth optimization problems arising in tensor decomposition applications are global functions. This is the first result concerning nonconvex methods for nonsmooth objective functions. Our result provides a theoretical guarantee for the widely-used $\ell_1$ norm to avoid outliers in nonconvex optimization.

研究の動機と目的

• ラプラシアンノイズまたはスパースなノイズ下での行列およびテンソル回復における非凸で非滑らかな最適化問題に対して、理論的保証が不足しているという問題に対処すること。
• 非凸で非滑らかな目的関数が余分な局所的最小値をもたない条件を確立すること。
• このような問題を分析するための新しい数学的枠組み「グローバル関数」を構築すること。
• ランク1テンソル分解における $ε_1$-ノルム目的関数が、局所的最適化によってグローバルに解けることを証明すること。
• 滑らかで凸緩和された問題に対する既存の結果を、外れ値に対してロバストな非滑らかで非凸な定式化へと拡張すること。

提案手法

• すべての局所的最小値がグローバル最小値である連続関数である「グローバル関数」の概念を導入し、古典的解析を非凸で非滑らかな設定へと拡張する。
• 基本的性質を確立する：均一極限定理の類似、合成則、変数変換に対する不変性。
• これらの性質を応用して、関数 $ f_1(x) = \sum_{i_1,\ldots,i_d=1}^n |x_{i_1}\cdots x_{i_d} - y_{i_1}\cdots y_{i_d}| $ がグローバル関数であることを示す。
• クラークの一般化された微分を用いて一次の最適性条件を分析し、停留在点の必要条件を導出する。
• カールシュ＝クーン＝タッカー条件と線形計画法への定式化を用いて、制約付き部分集合上に余分な最小値が存在しないことを証明する。
• 可能領域 $ S $ における目的関数が、線形関数およびべき関数の合成として表現可能であり、線形計画法との同等性によりこれらがグローバル関数であることが示されることを示す。

実験結果

リサーチクエスチョン

• RQ1 $\ell_1$-ノルム目的関数を伴う非凸で非滑らかな最適化問題において、余分な局所的最小値が存在しないことを保証できるか？
• RQ2 ラプラシアンノイズまたはスパースな外れ値下でのテンソル分解問題において、余分な最小値が存在しないという性質は成立するか？
• RQ3 グローバル最適解への収束を保証する非凸で非滑らかな最適化の分析を統一するための、新たな関数クラス「グローバル関数」を定義できるか？
• RQ4 合成や変数変換の性質が、非滑らかな関数のグローバル最適性構造に与える影響は何か？
• RQ5 滑らかで凸緩和された行列補完問題の理論的保証を、外れ値に対してロバストな非滑らかで非凸な定式化へと拡張できるか？

主な発見

• 関数 $ f_1(x) = \sum_{i_1,\ldots,i_d=1}^n |x_{i_1}\cdots x_{i_d} - y_{i_1}\cdots y_{i_d}| $ には余分な局所的最小値が存在せず、任意の局所的最小値がグローバルに最適であることが保証される。
• $ f_1 $ の一次の停留在点では、$ y_i = 0 $ ならば常に $ x_i = 0 $ であり、すべてのインデックスに対して $ \frac{x_{i_1}\cdots x_{i_d}}{y_{i_1}\cdots y_{i_d}} \leq 1 $ が成り立つ。
• $ y_1\cdots y_n \neq 0 $ のとき、関数 $ f_1 $ は集合 $ S = \{ x \mid \frac{x_{i_1}\cdots x_{i_d}}{y_{i_1}\cdots y_{i_d}} \leq 1 \} $ 上でグローバル関数である。これは、この定義域上での線形または二次計画法との同等性に起因する。
• 結果は偶数次および奇数次のテンソルの両方に対して成立し、各象限への分解とKKT条件による線形計画法への関連付けに依拠している。
• グローバル関数の枠組みにより、非凸最適化における $\ell_1$-ベースの目的関数の理論的分析が可能となり、非滑らかで非凸な問題に対する初めてのこのような保証が得られる。
• この理論は、$\ell_1$-ノルム目的関数を用いた際、確率的勾配降下法がスパースなノイズ下でも低ランク行列を効果的に回復できる理由を説明する。これは、滑らかでない $\ell_2$-ベースの定式化では失敗するのとは対照的である。