[論文レビュー] SPRING: A fast stochastic proximal alternating method for non-smooth non-convex optimization

Derek Driggs, Junqi Tang+3 more|arXiv (Cornell University)|Feb 27, 2020

Sparse and Compressive Sensing Techniques参考文献 40被引用数 11

ひとこと要約

SPRINGは、有限和構造を有する非滑らかで非凸な最適化問題に対する、新しい確率的プロキシマル交互線形化最小化アルゴリズムである。SAGA/SARAHによるバリアンス低減確率的勾配を用いることで、最新のオракル複雑度を達成し、スパースNMF、スパースPCA、ブラインド画像復元などの問題において、より速い収束とグローバル収束保証を示している。

ABSTRACT

We introduce SPRING, a novel stochastic proximal alternating linearized minimization algorithm for solving a class of non-smooth and non-convex optimization problems. Large-scale imaging problems are becoming increasingly prevalent due to advances in data acquisition and computational capabilities. Motivated by the success of stochastic optimization methods, we propose a stochastic variant of proximal alternating linearized minimization (PALM) algorithm \cite{bolte2014proximal}. We provide global convergence guarantees, demonstrating that our proposed method with variance-reduced stochastic gradient estimators, such as SAGA \cite{SAGA} and SARAH \cite{sarah}, achieves state-of-the-art oracle complexities. We also demonstrate the efficacy of our algorithm via several numerical examples including sparse non-negative matrix factorization, sparse principal component analysis, and blind image deconvolution.

研究の動機と目的

• 画像処理や機械学習で生じる大規模な非滑らかで非凸な最適化問題に対する、効率的な確率的アルゴリズムの不足に対処する。
• スケーラビリティと1イテレーションあたりの効率性を向上させるために、プロキシマル交互線形化最小化（PALM）フレームワークを確率的設定に拡張する。
• SAGAおよびSARAH勾配推定器を用いて、PALMの確率的変種の理論的収束保証を提供する。
• 決定的PALMと比較して、スパースNMF、スパースPCA、およびブラインド画像復元などの実世界の画像処理タスクで優れた性能を示す。
• 凸性や滑らかさの要件を課さない一般仮定の下で、確率的非凸最適化の理論的下界に達するオラクル複雑度を達成する。

提案手法

• 全勾配を確率的近似に置き換えることで、1イテレーションあたりのコストを削減するPALMの確率的変種であるSPRINGを提案する。
• 収束の安定化とサンプル効率の向上を図るため、バリアンス低減確率的勾配推定器（SAGAおよびSARAH）を用いる。
• 非滑らか正則化子 $J(x)$ および $R(y)$ のための閉形式更新を可能にするために、PALMの部分問題にプロキシマル線形化を適用する。
• 交互最小化構造を維持する：まず現在の $y$ における $F(x,y)$ の勾配を用いて $x$ を更新し、次に更新後の $x$ における勾配を用いて $y$ を更新する。
• 部分勾配のリプシッツ連続性を満たすように、適応的ステップサイズ $\gamma_{x,k}, \gamma_{y,k}$ を導入し、収束を保証する。
• SPRING-SAGAとSPRING-SARAHのそれぞれについて、期待値における収束を $\epsilon$-近似臨界点へと保証し、$O(n^2L/(b^3\epsilon^2))$ および $O(\sqrt{n}L/\epsilon^2)$ の確率的1階オラクル（SFO）呼び出し回数を達成する。

実験結果

リサーチクエスチョン

• RQ1 PALMの確率的拡張は、大規模な非滑らかで非凸な問題において、決定的PALMよりも速い収束を達成できるか？
• RQ2 バリアンス低減確率的勾配（SAGA/SARAH）は、非凸的かつ非滑らかな設定でもグローバル収束保証を可能にするか？
• RQ3 提案された確率的PALM変種のオラクル複雑度は、既存の手法と比較してどうか？
• RQ4 SPRINGは、スパースNMF、スパースPCA、およびブラインドデコンボリューションなどの実用的画像処理タスクでPALMを上回る性能を示せるか？
• RQ5 この手法は、一般仮定の下で、確率的非凸最適化の理論的下限に達するか？

主な発見

• SPRING-SAGAは、$\epsilon$-近似臨界点に到達するためのオラクル複雑度として $O(n^2L/(b^3\epsilon^2))$ のSFO呼び出し回数を達成し、$b \leq \mathcal{O}(n^{2/3})$ を満たす。
• SPRING-SARAHは $O(\sqrt{n}L/\epsilon^2)$ のSFO呼び出し回数を達成し、確率的非凸最適化の既知の下限に一致する。
• 誤差バインディング条件を満たす問題では、SPRINGはグローバル最適解へ線形収束する。
• 数値実験により、SPRING（SAGAおよびSARAHを用いて）がスパースNMF、スパースPCA、およびブラインド画像復元タスクでPALMよりも速く収束することが示された。
• 画像のぼやけ除去タスクにおいて、SPRINGはPALMよりも滑らかで高品質な再構成を生成し、より速いカーネル推定を実現した。
• インertial変種のPALMは加速効果を示しており、SPRINGに対しても同様の拡張によりさらなる改善が期待できる。