[論文レビュー] "Relative-Continuity" for Non-Lipschitz Non-Smooth Convex Optimization using Stochastic (or Deterministic) Mirror Descent

Haihao Lu|arXiv (Cornell University)|Oct 12, 2017

Sparse and Compressive Sensing Techniques参考文献 10被引用数 14

ひとこと要約

本稿では、ユーザーが定義する参照関数 h に対して相対的な滑らかさ条件である「相対的連続性」を導入し、非リプシッツ的・非滑らかな凸最適化におけるミラー降下法の収束保証を可能にする。この条件のもとで、決定的および確率的ミラー降下法の計算複雑性の上限を確立し、標準的な一次順序法の枠組み外にある、SVM や楕円体の交差問題といった困難な問題の解決を可能にする。

ABSTRACT

The usual approach to developing and analyzing first-order methods for non-smooth (stochastic or deterministic) convex optimization assumes that the objective function is uniformly Lipschitz continuous with parameter $M_f$. However, in many settings the non-differentiable convex function $f(\cdot)$ is not uniformly Lipschitz continuous -- for example (i) the classical support vector machine (SVM) problem, (ii) the problem of minimizing the maximum of convex quadratic functions, and even (iii) the univariate setting with $f(x) := \max\{0, x\} + x^2$. Herein we develop a notion of "relative continuity" that is determined relative to a user-specified "reference function" $h(\cdot)$ (that should be computationally tractable for algorithms), and we show that many non-differentiable convex functions are relatively continuous with respect to a correspondingly fairly-simple reference function $h(\cdot)$. We also similarly develop a notion of "relative stochastic continuity" for the stochastic setting. We analysis two standard algorithms -- the (deterministic) mirror descent algorithm and the stochastic mirror descent algorithm -- for solving optimization problems in these two new settings, and we develop for the first time computational guarantees for instances where the objective function is not uniformly Lipschitz continuous. This paper is a companion paper for non-differentiable convex optimization to the recent paper by Lu, Freund, and Nesterov, which developed similar sorts of results for differentiable convex optimization.

研究の動機と目的

• 標準的一次順序法が要求する一様リプシッツ連続性の制限を克服し、多くの非滑らかな凸問題で失敗する問題に対処する。
• SVM や楕円体の交差問題のような問題に対して、従来の劣勾配法や勾配法が計算保証を提供できない問題を克服する。
• 計算的に取り扱いやすい参照関数 h に対して相対的な滑らかさ条件を一般化する新しい理論的枠組み「相対的連続性」を構築する。
• 標準的な滑らかさ仮定を緩和することで、ミラー降下法の非リプシッツ的・非滑らかな凸最適化への適用範囲を拡大する。
• 目的関数が一様にリプシッツ連続でない設定において、決定的および確率的ミラー降下法の計算複雑性保証を初めて提供する。

提案手法

• 凸関数 f が参照関数 h に対して「相対的連続性」であることを定義し、f の劣勾配ノルムが h の劣勾配ノルムの多項式によって有界であることを仮定する。
• 確率的設定に拡張するための「相対的確率的連続性」を導入し、ノイズありまたはサンプリングされた勾配に対応する。
• 参照関数 h に基づくブレグマン発散を用いたミラー降下法を適用し、相対的連続性パラメータに合わせた適応的ステップサイズを採用する。
• ブレグマン発散と相対的連続性パラメータを用いて反復点の進捗を有界化する、新しい複雑性解析により計算保証を導出する。
• SVM や楕円体の交差問題などの特定の問題に対して、スペクトルノルムおよび x のノルムの二次・一次項を用いて、参照関数 h(x) を明示的に構築する。
• ダンスキンの定理およびKKT条件を活用し、非滑らかで非リプシッツな目的関数の劣勾配ノルムを有界化し、相対的連続性の検証を行う。

実験結果

リサーチクエスチョン

• RQ1 非リプシッツ的・非滑らかな凸関数に適用可能な一般化された滑らかさ条件を開発でき、一次順序法の収束解析を可能にするか？
• RQ2 目的関数が一様にリプシッツ連続でない最適化問題において、ミラー降下法が収束保証を満たすか？
• RQ3 与えられた非滑らかで非リプシッツな凸関数 f が、計算可能な参照関数 h に対して相対的連続性を満たすように h を構築する方法は何か？
• RQ4 相対的連続性のもとで、決定的および確率的ミラー降下法の計算複雑性上限をどのように導出できるか？
• RQ5 提案された枠組みは、古典的一次順序法の範囲外にある実世界の問題（SVM や楕円体の交差）に適用可能か？

主な発見

• 楕円体の交差問題（IEP）における目的関数は、参照関数 $ h(x) = \frac{\tau}{4}\norm{x}_2^4 + \frac{\rho}{3}\norm{x}_2^3 + \frac{\rho}{2}\norm{x}_2^2 $ に対して 1-連続である。ここで $ \tau, \rho, \rho $ は問題の行列およびベクトルパラメータから導出される。
• IEP において、定数ステップサイズ $ t_i = \tilde{\tau} $ を用いた決定的ミラー降下法は、$ k = \left\lceil \frac{\norm{x^* - x^0}^2 (3\tau(\norm{x^* + x^0}_2^2 + 2\norm{x^0}_2^2) + 4\rho(\norm{x^*}_2 + 2\norm{x^0}_2) + 6\gamma)}{6\tilde{\tau}^2} \right\rceil - 1 $ 回の反復後に $ f(\bar{x}^k) - f^* \neq \tilde{\tau} $ を達成する。
• SVM 問題の最適解は、半径 $ R = \min\left\{ \frac{1}{n\lambda} \sum_{i=1}^n \norm{w_i}_2, \sqrt{2/\lambda} \right\} $ の球内に存在し、初期反復の有界性仮定が可能になる。
• SVM 目的関数の劣勾配ノルムは $ \norm{x}_2 $ の二次多項式によって有界であり、構築された参照関数に対して相対的連続性が確認される。
• 本稿は、非リプシッツ的・非滑らかな設定におけるミラー降下法の計算保証を初めて提供し、一次順序法の適用範囲を古典的仮定の範囲外にまで拡大する。
• この枠組みにより、リプシッツ連続性の欠如により従来の劣勾配法や勾配法では到達できなかった、SVM や IEP といった問題の収束解析が可能になる。