[論文レビュー] PAGE: A Simple and Optimal Probabilistic Gradient Estimator for Nonconvex Optimization

Zhize Li, Hongyan Bao+2 more|arXiv (Cornell University)|Aug 25, 2020

Stochastic Gradient Optimization Techniques参考文献 50被引用数 22

ひとこと要約

この論文は、非凸最適化のための新しい確率的勾配推定器であるPAGEを紹介する。PAGEは、ミニバッチSGDと勾配再利用を組み合わせることで、最適な収束速度を達成する。PAGEは、有限和およびオンライン非凸問題の、既知で最もきつい下界を達成し、それぞれ$O(n + \frac{\bar{\sqrt{n}}}{\bar{\epsilon}^2})$および$O(b + \frac{\bar{\sqrt{b}}}{\bar{\epsilon}^2})$の勾配複雑度を達成する。また、Polyak-Łojasiewicz条件の下で自動的に加速する。

ABSTRACT

In this paper, we propose a novel stochastic gradient estimator -- ProbAbilistic Gradient Estimator (PAGE) -- for nonconvex optimization. PAGE is easy to implement as it is designed via a small adjustment to vanilla SGD: in each iteration, PAGE uses the vanilla minibatch SGD update with probability $p_t$ or reuses the previous gradient with a small adjustment, at a much lower computational cost, with probability $1-p_t$. We give a simple formula for the optimal choice of $p_t$. Moreover, we prove the first tight lower bound $Ω(n+\frac{\sqrt{n}}{ε^2})$ for nonconvex finite-sum problems, which also leads to a tight lower bound $Ω(b+\frac{\sqrt{b}}{ε^2})$ for nonconvex online problems, where $b:= \min\{\frac{σ^2}{ε^2}, n\}$. Then, we show that PAGE obtains the optimal convergence results $O(n+\frac{\sqrt{n}}{ε^2})$ (finite-sum) and $O(b+\frac{\sqrt{b}}{ε^2})$ (online) matching our lower bounds for both nonconvex finite-sum and online problems. Besides, we also show that for nonconvex functions satisfying the Polyak-Łojasiewicz (PL) condition, PAGE can automatically switch to a faster linear convergence rate $O(\cdot\log \frac{1}ε)$. Finally, we conduct several deep learning experiments (e.g., LeNet, VGG, ResNet) on real datasets in PyTorch showing that PAGE not only converges much faster than SGD in training but also achieves the higher test accuracy, validating the optimal theoretical results and confirming the practical superiority of PAGE.

研究の動機と目的

• 非凸有限和およびオンライン最適化問題における最適勾配複雑度のギャップを埋める。
• 理論的および実践的両面で既存手法を上回る、シンプルで最適な確率的勾配推定器を設計する。
• 非凸有限和およびオンライン問題のきつい下界を確立し、提案手法の最適性を証明する。
• 条件に関する事前知識が不要な状況で、Polyak-Łojasiewicz（PL）条件の下で自動的に加速を可能にする。
• 実世界のデータセットを用いた広範なディープラーニング実験を通じて、PAGEの理論的優位性を検証する。

提案手法

• PAGEは確率的スイッチを用いる：確率$p_t$で通常のミニバッチSGDを適用し、確率$1-p_t$で前回の勾配をわずかに調整して再利用する。
• 最適な$p_t$は$p_t = \frac{b'}{b + b'}$として導出され、ここで$b$はミニバッチサイズ、$b'$は補助ミニバッチサイズである。
• 収束性の証明にはリャプノフ関数解析を採用し、勾配再利用による分散低減を統合する。
• 勾配再利用と分散制御の関係を結ぶ、新たな解析フレームワークを導入し、きつい収束バインディングを可能にする。
• アルゴリズムはSGDと後方互換性を持つように設計されており、標準的な学習ループへのわずかな修正で実装可能である。
• PL正則化問題では、パラメータチューニングなしで自動的に線形収束に切り替わる。

実験結果

リサーチクエスチョン

• RQ1 非凸有限和最適化における勾配複雑度の最もきつい下限は何か？
• RQ2 複雑な分散低減機構を必要とせず、シンプルな勾配推定器が最適収束速度を達成できるか？
• RQ3 勾配再利用と新規勾配計算のバランスを最適化することで、計算コストを最小化できるか？
• RQ4 提案手法は、条件に関する明示的知識がなくても、Polyak-Łojasiewicz条件の下で線形収束を達成できるか？
• RQ5 理論的な最適性が、実際のディープラーニング環境でも検証可能か？

主な発見

• 本論文は、非凸有限和問題におけるきつい下限$\Omega(n + \frac{\sqrt{n}}{\epsilon^2})$を確立し、PAGEがこの上界を達成していることを示した。
• オンライン非凸問題では、下限が$\Omega(b + \frac{\sqrt{b}}{\epsilon^2})$（$b = \min\{\frac{\sigma^2}{\epsilon^2}, n\}$）であり、PAGEはこの境界を達成している。
• PAGEは、有限和問題に対して$O(n + \frac{\sqrt{n}}{\epsilon^2})$、オンライン問題に対して$O(b + \frac{\sqrt{b}}{\epsilon^2})$の最適勾配複雑度を達成した。
• Polyak-Łojasiewicz（PL）条件の下では、条件に関する事前知識が不要な状態で、線形収束速度$O(\cdot \log \frac{1}{\epsilon})$を達成した。
• LeNet、VGG、ResNetを用いたディープラーニング実験では、複数の実世界データセットで、SGDよりもPAGEがより速く収束し、より高いテスト精度を達成した。
• PL条件下では、PAGEの勾配複雑度は$O((b + \sqrt{b}\kappa)\log \frac{1}{\epsilon})$であり、有利な状況下での効率性を裏付けた。