[論文レビュー] Stochastic Variance-Reduced Prox-Linear Algorithms for Nonconvex Composite Optimization

Junyu Zhang, Lin Xiao|arXiv (Cornell University)|Apr 9, 2020

Sparse and Compressive Sensing Techniques参考文献 63被引用数 6

ひとこと要約

本稿は、$ f(g(x)) + h(x) $ の形をした非凸な合成最適化問題に対して、確率的バリアンス低減プロキシマル・ラインアーリングアルゴリズムを提案する。ここで $ f $ と $ h $ は凸（可能なかぎり非滑らか）であり、$ g $ は成分の平均または期待値として与えられる滑らかな写像である。SARAH/Spiderおよび修正版SVRGによるバリアンス低減を活用することで、有限平均の場合には $ \mathcal{O}(N + N^{4/5}\epsilon^{-1}) $、一般の期待値の場合には $ \mathcal{O}(\epsilon^{-5/2}) $ の最適なサンプル複雑度を達成する。$ f $ が滑らかである場合には、さらに良いバウンドが得られる。

ABSTRACT

We consider minimization of composite functions of the form $f(g(x))+h(x)$, where $f$ and $h$ are convex functions (which can be nonsmooth) and $g$ is a smooth vector mapping. In addition, we assume that $g$ is the average of finite number of component mappings or the expectation over a family of random component mappings. We propose a class of stochastic variance-reduced prox-linear algorithms for solving such problems and bound their sample complexities for finding an $ε$-stationary point in terms of the total number of evaluations of the component mappings and their Jacobians. When $g$ is a finite average of $N$ components, we obtain sample complexity $\mathcal{O}(N+ N^{4/5}ε^{-1})$ for both mapping and Jacobian evaluations. When $g$ is a general expectation, we obtain sample complexities of $\mathcal{O}(ε^{-5/2})$ and $\mathcal{O}(ε^{-3/2})$ for component mappings and their Jacobians respectively. If in addition $f$ is smooth, then improved sample complexities of $\mathcal{O}(N+N^{1/2}ε^{-1})$ and $\mathcal{O}(ε^{-3/2})$ are derived for $g$ being a finite average and a general expectation respectively, for both component mapping and Jacobian evaluations.

研究の動機と目的

• 非凸合成最適化問題 $ f(g(x)) + h(x) $ を取り扱う。ここで $ f $ と $ h $ は凸であり、$ g $ は滑らかなベクトル写像である。
• 有限平均と期待値に基づく $ g $ の両方に対して適したバリアンス低減技術を導入することで、確率的プロキシマル・ラインアーリング法のサンプル複雑度を低減する。
• 成分写像およびヤコビアン評価の観点から、$ \epsilon $-停留立点を求めるための最適なサンプル複雑度バウンドを達成する。
• SARAH/SpiderやSVRGのようなバリアンス低減法をプロキシマル・ラインアーリングスキームに拡張し、標準的な確率的手法よりも収束速度を向上させる。
• 有限平均および一般期待値の設定において、理論的サンプル複雑度を分析し、$ f $ が滑らかであるかどうかの有無にかかわらず、その結果を提示する。

提案手法

• SARAH/Spiderまたは修正版SVRG推定器を用いたバリアンス低減により、$ g(x^k) $ および $ g'(x^k) $ のミニバッチ近似を用いる確率的バリアンス低減プロキシマル・ラインアーリングアルゴリズムを提案する。
• 各反復でプロキシマル・ラインアーリング部分問題を解く：$ x^{k+1} = \arg\min_x \left\{ f(\tilde{g}^k + \tilde{J}^k(x - x^k)) + h(x) + \frac{M}{2}\|x - x^k\|^2 \right\} $。ここで $ \tilde{g}^k $ と $ \tilde{J}^k $ はバリアンス低減推定値である。
• SARAH/Spiderにインspiredされた再帰的勾配推定器を用いて、ヤコビアンおよび関数値推定のバリアンスを低減し、より低いサンプル複雑度を実現する。
• 非滑らかかつ有限平均の場合の収束を改善するために、一階補正を施した修正版SVRG推定器を導入する。
• エポックの初期段階で大きなバッチサイズを避けるために、後期の反復で一定のミニバッチサイズ戦略を採用する。
• バリアンス低減プロキシマル・ラインアーリング更新の収束速度を分析することで、理論的サンプル複雑度バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 有限平均としての $ g $ を持つ非凸合成最適化における、確率的プロキシマル・ラインアーリング法の最適なサンプル複雑度は何か？
• RQ2 SARAH/Spiderのようなバリアンス低減技術は、非滑らかかつ非凸問題に適したプロキシマル・ラインアーリングアルゴリズムに効果的に適応可能か？
• RQ3 一般期待値設定下で $ f $ の滑らかさが、達成可能なサンプル複雑度にどのように影響するか？
• RQ4 バリアンス低減プロキシマル・ラインアーリング法において、バッチサイズと収束速度のトレードオフは何か？
• RQ5 非滑らかな $ f $ に対して、一定の小さなミニバッチサイズは、バリアンス低減プロキシマル・ラインアーリングスキームで効果的に使用可能か？

主な発見

• $ g $ が $ N $ 個の成分の平均である場合、提案手法は成分写像およびヤコビアン評価の両方で $ \mathcal{O}(N + N^{4/5}\epsilon^{-1}) $ のサンプル複雑度を達成する。
• 一般期待値としての $ g $ の場合、成分写像のサンプル複雑度は $ \mathcal{O}(\epsilon^{-5/2}) $、ヤコビアンのそれは $ \mathcal{O}(\epsilon^{-3/2}) $ である。
• $ f $ が滑らかである場合、有限平均では $ \mathcal{O}(N + \sqrt{N}\epsilon^{-1}) $、一般期待値では $ \mathcal{O}(\epsilon^{-3/2}) $ に改善される。
• SARAH/Spider推定器の使用により、SVRGベースの手法よりも優れたサンプル複雑度が得られ、特に滑らかな場合に $ \mathcal{O}(N + \sqrt{N}\epsilon^{-1}) $ が達成される。
• 実験により、工業的データセット上でのプロキシマル・ラインアーリング法が、標準的な確率的プロキシマル・ラインアーリング法やS-PL法よりも実用的に優れていることが示された。
• 理論的分析により、プロキシマル・ラインアーリング法はガウス・ニュートン近似を通じて暗黙的に2次情報を利用でき、1次勾配法よりも優位性を示すことがわかった。