[論文レビュー] Accelerated Stochastic Algorithms for Nonconvex Finite-sum and Multi-block Optimization

Guanghui Lan, Yu Yang|arXiv (Cornell University)|May 14, 2018

Stochastic Gradient Optimization Techniques参考文献 26被引用数 5

ひとこと要約

本稿では、非凸有限和およびマルチブロック最適化問題に対する2つの確率的加速勾配アルゴリズム、RapGrad と RapDual を提案する。確率的ブロックサンプリングとプロキシマル勾配技術を活用することで、RapGrad はバッチ法と比較して勾配計算を最大 $Δ(√m)$ 減少する。一方、RapDual は特に条件数 $L/\mu \geq m$ の場合に、ブロック更新の回数を同程度削減し、収束速度と計算効率の面で既存手法を上回る性能を示す。

ABSTRACT

In this paper, we present new stochastic methods for solving two important classes of nonconvex optimization problems. We first introduce a randomized accelerated proximal gradient (RapGrad) method for solving a class of nonconvex optimization problems consisting of the sum of $m$ component functions, and show that it can significantly reduce the number of gradient computations especially when the condition number $L/μ$ (i.e., the ratio between the Lipschitz constant and negative curvature) is large. More specifically, RapGrad can save up to ${\cal O}(\sqrt{m})$ gradient computations than existing deterministic nonconvex accelerated gradient methods. Moreover, the number of gradient computations required by RapGrad can be ${\cal O}(m^\frac{1}{6} L^\frac{1}{2} / μ^\frac{1}{2})$ (at least ${\cal O}(m^\frac{2}{3})$) times smaller than the best-known randomized nonconvex gradient methods when $L/μ\ge m$. Inspired by RapGrad, we also develop a new randomized accelerated proximal dual (RapDual) method for solving a class of multi-block nonconvex optimization problems coupled with linear constraints. We demonstrate that RapDual can also save up to a factor of ${\cal O}(\sqrt{m})$ projection subproblems than its deterministic counterpart, where $m$ denotes the number of blocks. To the best of our knowledge, all these complexity results associated with RapGrad and RapDual seem to be new in the literature. We also illustrate potential advantages of these algorithms through our preliminary numerical experiments.

研究の動機と目的

• 大規模な条件数 $L/\mu$ を有する非凸有限和およびマルチブロック最適化問題を解く際の高い計算コストを低減すること。
• 従来のバッチ法および非加速確率的手法が要する勾配計算回数とブロック更新回数を削減すること。
• 非凸問題の構造的性質を活用した、新たな確率的加速アルゴリズムの開発。
• 理論的複雑度解析と予備的数値実験を通じて、これらのアルゴリズムの有効性を示すこと。
• 線形制約を伴う非凸マルチブロック問題において、確率化が収束加速にどのように寄与するかの可能性を調査すること。

提案手法

• $m$ 個の成分をもつ非凸有限和問題を対象とした、確率的加速プロキシマル勾配法である RapGrad を提案。確率的勾配サンプリングとモーメンタム加速を用いる。
• 非凸問題を凸部分問題の系列に変換するためのプロキシマルポイント定式化を採用。これにより、確率的デュアル法を用いた効率的解法が可能になる。
• 線形制約を伴うマルチブロック非凸問題を対象とした、確率的加速プライマルデュアルアルゴリズムである RapDual を導入。ブロック単位のサンプリングとデュアル更新を活用する。
• リプシッツ定数 $L$ と負の曲率パラメータ $\mu$ に依存するデュアルステップサイズルールを採用。弱凸性仮定のもとで収束を保証する。
• 部分問題における内部反復の早期終了を組み込み、計算コストを低減しながら解の品質を維持する。
• $\mu$ またはそのタイトな上界値の知識を仮定し、$m$、$L$、$\mu$ を用いた複雑度解析を実施。

実験結果

リサーチクエスチョン

• RQ1 確率的加速は、大きな条件数 $L/\mu$ を有する非凸有限和問題において、勾配計算回数を削減できるか？
• RQ2 提案手法 RapGrad は、既存の非凸確率的および加速手法と比較して、収束速度がどのように異なるか？
• RQ3 線形制約を伴うマルチブロック非凸最適化において、確率化がブロック更新回数を顕著に削減できるか？
• RQ4 RapDual の理論的複雑度は、決定的バッチ法と比較して $m$ および $L/\mu$ の観点でどの程度向上するか？
• RQ5 内部反復の早期終了は、アルゴリズム全体の収束性および計算コストにどのように影響するか？

主な発見

• RapGrad は、バッチ非凸加速勾配法と比較して、勾配計算回数を最大 $Δ(√m)$ 削減する。特に $L/\mu$ が大きい場合に顕著である。
• $L/\mu \geq m$ の場合、RapGrad が要する勾配計算回数は、既存の最良の確率的非凸勾配法と比較して $Δ(m^{1/6}L^{1/2}/\mu^{1/2})$ 倍小さくなる。
• RapDual は、バッチ版と比較して、プライマルブロック更新回数を最大 $Δ(√m)$ 削減する。
• 数値実験の結果、RapGrad および RapDual の確率的版は、目的関数値および実行可能性の観点で、バッチ版を上回る収束速度を示す。
• RapDual における内部反復の早期終了により、総ブロック更新回数が顕著に削減され、制約違反は低く抑えられ、目的関数値の品質も良好を維持する。
• 特に圧縮センシングおよび非凸スパース回復問題において、ADMM や他の既存手法と比較して収束速度が優れている。