[論文レビュー] Convergence guarantees for a class of non-convex and non-smooth optimization problems

Koulik Khamaru, Martin J. Wainwright|arXiv (Cornell University)|Apr 25, 2018

Sparse and Compressive Sensing Techniques参考文献 30被引用数 37

ひとこと要約

本稿は、非凸的かつ非滑らかな最適化問題に対する勾配ベースの手法—勾配降下法、プロキシマル更新、Frank-Wolfe法—について収束保証を提供する。非漸近的収束レートを部分勾配ノルムに関して確立し、これらの手法が広範な非滑らかな関数に対して厳密な鞍点を回避できることを証明する。また、CCCPアルゴリズムを単一ループのプロキシマル法に置き換えることで簡素化し、反復あたりのコストを低減するとともに収束性を維持する。

ABSTRACT

We consider the problem of finding critical points of functions that are non-convex and non-smooth. Studying a fairly broad class of such problems, we analyze the behavior of three gradient-based methods (gradient descent, proximal update, and Frank-Wolfe update). For each of these methods, we establish rates of convergence for general problems, and also prove faster rates for continuous sub-analytic functions. We also show that our algorithms can escape strict saddle points for a class of non-smooth functions, thereby generalizing known results for smooth functions. Our analysis leads to a simplification of the popular CCCP algorithm, used for optimizing functions that can be written as a difference of two convex functions. Our simplified algorithm retains all the convergence properties of CCCP, along with a significantly lower cost per iteration. We illustrate our methods and theory via applications to the problems of best subset selection, robust estimation, mixture density estimation, and shape-from-shading reconstruction.

研究の動機と目的

• 非凸的かつ非滑らかな関数に対する勾配ベースのアルゴリズムの非漸近的収束レートを確立すること。
• 滑らかでない関数の文脈において、厳密な鞍点からの脱出を含む収束保証を拡張し、滑らかな設定からの一般化を達成すること。
• DCプログラミングのためのCCCPアルゴリズムを、二重ループ構造を単一ループのプロキシマル法に置き換えることで簡素化し、収束性を保ちつつ計算コストを低減すること。
• 連続的・部分解析的関数に対して、Kurdyka–Łojasiewicz不等式のもとでの収束レートの境界を提供すること。
• 滑らかな関数と凸関数の差として分解可能な関数のクラスを同定し、提案手法の広範な適用可能性を可能にすること。

提案手法

• 閉凸集合上での非凸的・非滑らかな関数の最小化のための部分勾配アルゴリズムを提案。収束レートは部分勾配のユークリッドノルムの項で上限が与えられる。
• 目的関数が滑らかな関数と凸関数の差として表される問題に対して、弱い正則性条件のもとで収束保証を有するプロキシマル型アルゴリズムを導入。
• Kurdyka–Łojasiewicz不等式を活用し、連続的・部分解析的関数に対してより速い収束レートを導出。
• 定理6を用いて、勾配のM-滑らかさ差分性質を持つ関数と、滑らかな関数と凸関数の差として分解可能な関数が同値であることを確立。
• 関数分解構造を活用して、CCCPアルゴリズムの単一ループ版を導出し、反復あたりの計算コストを低減。
• 一次のテイラー展開と勾配不等式を用いて、分解における補助関数の凸性を証明し、収束を保証。

実験結果

リサーチクエスチョン

• RQ1 勾長ベースの手法は、非凸的かつ非滑らかな最適化問題に対して非漸近的収束レートを達成できるか？
• RQ2 これらの手法は、非滑らか設定下でどのような条件下で厳密な鞍点から脱出可能か？
• RQ3 CCCPアルゴリズムは、収束保証を維持しながら計算効率を向上させるためにどのように簡素化可能か？
• RQ4 滑らかでかつ連続的に微分可能な関数の中で、滑らかな関数と凸関数の差として表現可能な関数のクラスは何か？
• RQ5 部分解析的関数に対してKurdyka–Łojasiewicz不等式のもとで、どのような収束レートの向上が可能か？

主な発見

• 本稿は、一般の非凸的・非滑らかな問題クラスにおいて、部分勾配ノルムの非漸近的収束レートを確立し、一般には改善不可能であることを示す。
• 連続的・部分解析的関数に対しては、Kurdyka–Łojasiewicz不等式のもとで、提案アルゴリズムがより速い収束レートを達成する。
• 単一ループに簡素化されたアルゴリズムは、CCCPのすべての収束保証を維持しているが、反復あたりのコストを顕著に低減しており、実験結果でもその効果が示されている。
• 本手法は、広範な非滑らかな関数に対して厳密な鞍点からの脱出を可能にし、滑らかな場合の既知の結果を一般化する。
• 定理6により、連続的に微分可能な関数が滑らかな関数と凸関数の差として書けるための必要十分条件は、その勾配が特定のリプシッツ的不等式を満たすことであると同定される。
• 定理6による関数クラスの同定により、最良サブセット選択、ロバスト推定、形状から形状の復元（shape-from-shading）など、広範な問題に提案手法を適用可能となる。