[論文レビュー] A Short Note of PAGE: Optimal Convergence Rates for Nonconvex Optimization

Zhize Li|arXiv (Cornell University)|Jun 17, 2021

Machine Learning and Algorithms参考文献 1被引用数 5

ひとこと要約

本稿は、非凸最適化における確率的勾配推定器（PAGE）アルゴリズムの洗練された収束解析を提示している。最適なパrameter設定のもとで、PAGEは有限和設定では $O(n + \tilde{n}/\epsilon^2)$、オンライン設定では $O(b + \tilde{b}/\epsilon^2)$ の理論的下界に一致する、既知の最良の収束レートを達成することが示されている。解析は、確率的勾配の再利用と分散低減のバランスを取ることで、最適な勾配複雑度を確立している。

ABSTRACT

In this note, we first recall the nonconvex problem setting and introduce the optimal PAGE algorithm (Li et al., ICML'21). Then we provide a simple and clean convergence analysis of PAGE for achieving optimal convergence rates. Moreover, PAGE and its analysis can be easily adopted and generalized to other works. We hope that this note provides the insights and is helpful for future works.

研究の動機と目的

• 非凸最適化におけるPAGEアルゴリズムの洗練されたシンプルな収束解析を提供すること。
• 平均滑らかさと有界分散の標準的仮定のもとで、PAGEが最適な収束レートを達成することを確立すること。
• 有限和およびオンライン非凸最適化における既知の理論的下界と一致する、PAGEの勾配複雑度を示すこと。
• 将来的な研究における広範な適用可能性を高めるために、解析を一般化および簡素化すること。

提案手法

• PAGEは、確率 $p_t$ で新しいミニバッチ勾配を計算し、確率 $1-p_t$ で前回の勾配にわずかな補正項を加えて再利用する確率的勾配推定器を使用する。
• 安定性と収束を保証するために、ステップサイズ $\eta \leq \frac{1}{L(1 + \sqrt{\frac{1-p}{pb'}})}$ が採用される。
• 進捗の追跡と勾配ノルムの期待値の境界を求めるために、リャプノフ関数 $\Phi_t = f(x^t) - f^* + \frac{\eta}{2p}\|g^t - \nabla f(x^t)\|^2$ の使用が鍵となる。
• 有限和の場合、平均 $L$-滑らかさの下で勾配推定子の分散を制御するために補題2に依存する。
• オンラインの場合、補題3により、有界分散（$\sigma^2$）を含め、全勾配が利用できない状況にも一般化された解析が行われる。
• 出力 $\widehat{x}_T$ は反復列 $\{x^t\}_{t \in [T]}$ から一様に抽出され、$\epsilon$-近似静止点を保証する。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化におけるPAGEアルゴリズムに対して、シンプルで洗練された収束解析を提供できるか？
• RQ2 PAGEは、非凸有限和およびオンライン問題における既知の下界と一致する最適な収束レートを達成するか？
• RQ3 両設定において、PAGEの勾配複雑度は $n$, $b$, および $\epsilon$ に対してどのようにスケーリングされるか？
• RQ4 最適な収束を達成するために必要なパrameter選択（例えば、ステップサイズ、$p_t$、ミニバッチサイズ）は何か？

主な発見

• PAGEは、期待勾配ノルム $\mathbb{E}[\|\nabla f(\widehat{x}_T)\|] \leq \epsilon$ を満たす $\epsilon$-近似静止点を達成する。
• 有限和の場合、勾配複雑度は $O(n + \frac{\sqrt{n}}{\epsilon^2})$ であり、理論的下界と一致する。
• オンラインの場合、勾配複雑度は $O(b + \frac{\sqrt{b}}{\epsilon^2})$ であり、既知の下界と一致する。
• 最適なステップサイズは $\eta \leq \frac{1}{L(1 + \sqrt{\frac{1-p}{pb'}})}$ であり、降下と分散低減のバランスを取る。
• オンライン設定では、複雑度を最小化するために、ミニバッチサイズ $b$ は $\min(\lceil \frac{2\sigma^2}{\epsilon^2} \rceil, n)$ に設定される。
• 解析により、$\mathbb{E}[\|\nabla f(\widehat{x}_T)\|^2] \leq \epsilon^2$ が示され、Jensenの不等式より $\mathbb{E}[\|\nabla f(\widehat{x}_T)\|] \leq \epsilon$ が導かれる。