[論文レビュー] Bregman Finito/MISO for nonconvex regularized finite sum minimization without Lipschitz gradient continuity

Puya Latafat, Andreas Themelis+2 more|arXiv (Cornell University)|Feb 20, 2021

Sparse and Compressive Sensing Techniques参考文献 65被引用数 4

ひとこと要約

本稿では、リプシッツ連続勾配を要件としない非凸正則化有限和最小化問題に対するBregman Finito/MISOおよび低メモリ版を提案する。相対的滑らかさとBregman Moreau包絡関数をリャプノフ関数として用いることで、強い凸性（確率的）またはKurdyka-Łojasiewicz性質（順番的／低メモリ）の下で線形収束を確立し、標準的な滑らかさ仮定を著しく緩和する。

ABSTRACT

We introduce two algorithms for nonconvex regularized finite sum minimization, where typical Lipschitz differentiability assumptions are relaxed to the notion of relative smoothness. The first one is a Bregman extension of Finito/MISO, studied for fully nonconvex problems when the sampling is randomized, or under convexity of the nonsmooth term when it is essentially cyclic. The second algorithm is a low-memory variant, in the spirit of SVRG and SARAH, that also allows for fully nonconvex formulations. Our analysis is made remarkably simple by employing a Bregman Moreau envelope as Lyapunov function. In the randomized case, linear convergence is established when the cost function is strongly convex, yet with no convexity requirements on the individual functions in the sum. For the essentially cyclic and low-memory variants, global and linear convergence results are established when the cost function satisfies the Kurdyka-Łojasiewicz property.

研究の動機と目的

• リプシッツ連続勾配を要件としない、緩和された滑らかさ仮定の下での非凸正則化有限和最小化を扱う。
• Finito/MISOおよびSVRG/SARAHフレームワークを、Bregman発散を用いて非凸設定に拡張する。
• 先行研究より弱い条件下で、インクリメンタルアグリゲートアルゴリズムのグローバルかつ線形収束を確立する。
• リャプノフ関数としてのBregman Moreau包絡関数を用いることで、収束解析を単純化する。

提案手法

• リプシッツ微分可能性の代わりに相対的滑らかさの概念を用いるBregman拡張のFinito/MISOを導入する。
• リャプノフ関数としてBregman Moreau包絡関数を定義し、異なるサンプリング戦略の下で収束解析を統一的かつ単純化する。
• 勾配近似を追跡するためのデュアル変数テーブル $\bm{s}^k$ を用い、proximal最小化ステップにより反復を更新する。
• SVRGおよびSARAHにインspiredされた低メモリバージョンを適用し、1つの勾配推定値のみを保持し、定期的に更新する。
• 滑らかな項を距離生成関数に埋め込んだブロック座標法としてFinito/MISOの新しい解釈を提示する。
• リャプノフ関数 $\mathcal{L}(z^k, \bm{s}^k)$ の単調減少性を証明することで収束を確立し、これは目的関数のBregman Moreau包絡関数に等しい。

実験結果

リサーチクエスチョン

• RQ1 Finito/MISOは、リプシッツ連続勾配を仮定しない非凸有限和問題に拡張可能か？
• RQ2 標準的なリプシッツ滑らかさの代わりに相対的滑らかさの下で線形収束を保証できるか？
• RQ3 リャプノフ関数としてのBregman Moreau包絡関数を用いることで、収束解析を単一化・簡略化できるか？
• RQ4 低メモリバージョンは非凸設定でもグローバルかつ線形収束を保持するか？
• RQ5 個々の関数が凸でない場合に、どのような条件下でアルゴリズムはグローバルかつ線形収束するか？

主な発見

• 全体の目的関数が強い凸性を満たす場合、確率的Bregman Finito/MISOバージョンにおいて線形収束が確立される。これは個々の $f_i$ が非凸であっても成立する。
• 基本的に順序的および低メモリバージョンでは、強い凸性より弱いKurdyka-Łojasiewicz（KŁ）性質の下でグローバルかつ線形収束が証明される。
• Bregman Moreau包絡関数は、反復に沿って単調に減少するリャプノフ関数として機能し、統一的かつ簡略化された収束解析を可能にする。
• Bregman距離に関する相対的滑らかさに依存することで、リプシッツ勾配連続性の必要性を回避する。
• 低メモリバージョンは$O(n)$のメモリのみで収束を達成し、大規模問題に適している。
• 理論的結果は、双対変数更新が不変量 $\tilde{s}^k = \sum_{i=1}^N s_i^k$ を保持することを証明することで検証され、フルメモリ版と整合性を保つ。