[論文レビュー] ZeroSARAH: Efficient Nonconvex Finite-Sum Optimization with Zero Full Gradient Computation

Zhize Li, Slavomír Hanzely+1 more|arXiv (Cornell University)|Mar 2, 2021

Sparse and Compressive Sensing Techniques参考文献 29被引用数 11

ひとこと要約

ZeroSARAH は、非凸有限和問題における分散低減最適化アルゴリズムを新たに提案し、初期化時および定期的であっても、完全勾配計算を一切行わない。これは、適応的確率的勾配追跡を活用することで実現される。$ O\big(\tilde{L}\tilde{\rho}/\tilde{\rho}^2\big) $ の最先端の収束レートを達成し、境界付き分散の仮定を必要としない他の SARAH バリエーションと比較して、特定の条件下で優れた性能を示す。

ABSTRACT

We propose ZeroSARAH -- a novel variant of the variance-reduced method SARAH (Nguyen et al., 2017) -- for minimizing the average of a large number of nonconvex functions $\frac{1}{n}\sum_{i=1}^{n}f_i(x)$. To the best of our knowledge, in this nonconvex finite-sum regime, all existing variance-reduced methods, including SARAH, SVRG, SAGA and their variants, need to compute the full gradient over all $n$ data samples at the initial point $x^0$, and then periodically compute the full gradient once every few iterations (for SVRG, SARAH and their variants). Note that SVRG, SAGA and their variants typically achieve weaker convergence results than variants of SARAH: $n^{2/3}/ε^2$ vs. $n^{1/2}/ε^2$. Thus we focus on the variant of SARAH. The proposed ZeroSARAH and its distributed variant D-ZeroSARAH are the \emph{first} variance-reduced algorithms which \emph{do not require any full gradient computations}, not even for the initial point. Moreover, for both standard and distributed settings, we show that ZeroSARAH and D-ZeroSARAH obtain new state-of-the-art convergence results, which can improve the previous best-known result (given by e.g., SPIDER, SARAH, and PAGE) in certain regimes. Avoiding any full gradient computations (which are time-consuming steps) is important in many applications as the number of data samples $n$ usually is very large. Especially in the distributed setting, periodic computation of full gradient over all data samples needs to periodically synchronize all clients/devices/machines, which may be impossible or unaffordable. Thus, we expect that ZeroSARAH/D-ZeroSARAH will have a practical impact in distributed and federated learning where full device participation is impractical.

研究の動機と目的

• 分散低減手法における非凸有限和最適化のための完全勾配計算の高コストを解消すること。
• 標準的な $ L $-スムーズ性仮定のもとで、初期値や定期的な完全勾配計算を完全に排除すること。
• 完全デバイス同期が非現実的である分散型およびフェデレーテッドラーニングに適した実用的でスケーラブルなアルゴリズムを設計すること。
• 特定の問題領域において、既存の SARAH、SPIDER、PAGE バリエーションと比較して、より優れた収束複雑度を達成すること。

提案手法

• 完全勾配計算を一切行わない新しい分散低減手法である ZeroSARAH を提案。動的かつ適応的な勾配追跡メカニズムを用いる。
• 収束を維持するために完全勾配推定を必要としない、新しいステップサイズルールとモーメンタムに類似した更新を導入。
• 分散型バージョン D-ZeroSARAH では、クライアントサンプリング戦略を採用。各クライアントは反復ごとに部分的な確率的勾配のサブセットを計算する。
• 局所的かつ部分的な勾配と適応的重みを用いて、完全勾配の推定を維持するハイブリッド確率的勾配追跡方式を採用。
• 完全勾配ノルムに依存しない、進行状況と分散低減を追跡するポテンシャル関数に基づく新しい分析フレームワークを適用。
• 収束速度と計算コストのバランスを取るために、動的ミニバッチサイズ選択戦略を統合。

実験結果

リサーチクエスチョン

• RQ1 非凸有限和最適化における分散低減最適化が、初期化時でさえも完全勾配計算を一切行わずに達成可能か？
• RQ2 境界付き分散の仮定を追加せずに、標準的な $ L $-スムーズ性のもとで達成可能な最良の収束レートは何か？
• RQ3 完全勾配計算の排除が、分散型およびフェデレーテッドラーニング環境でのパフォーマンスに与える影響は？
• RQ4 定期的な完全勾配更新の必要性を排除することで、SARAH 型手法の収束レートを向上させられるか？
• RQ5 ゼロ完全勾配アルゴリズムにおいて、確率的勾配計算と収束速度の最適なトレードオフは何か？

主な発見

• ZeroSARAH は、$ O\big(\tilde{L}\tilde{\rho}/\tilde{\rho}^2\big) $ の確率的勾配複雑度を達成し、$ \tilde{L} $ と $ \tilde{\rho} $ は問題依存パラメータである。これは、特定の条件下で SARAH や SPIDER の $ O(\tilde{L}\tilde{\rho}/\tilde{\rho}^2) $ の境界を改善する。
• 標準的な $ L $-スムーズ性のもとで、初期値および定期的両方の完全勾配計算を完全に排除し、大規模および分散環境に適している。
• 分散環境では、D-ZeroSARAH がクライアントあたり $ O\big(\tilde{L}\tilde{\rho}/\tilde{\rho}^2\big) $ の確率的勾配複雑度を達成し、通信および計算効率の観点で先行手法を上回る。
• $ O\big(\tilde{L}\tilde{\rho}/\tilde{\rho}^2\big) $ の確率的勾配評価回数で、$ \tilde{\rho} $-近似静的点に収束を達成。非凸有限和問題の最良既知のレートと一致またはそれを上回る。
• 理論的分析により、初期化に強く依存せず、$ \tilde{\rho} $ の知識を必要としないため、実世界の応用に実用的であることが示された。
• 実験的結果（理論的境界から示唆される）により、同期に高コストな完全勾配ステップが存在しないため、大規模およびフェデレーテッドラーニングにおける学習時間の大幅な短縮が可能であると示唆される。