[論文レビュー] SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients

Feihu Huang, Junyi Li+1 more|arXiv (Cornell University)|Jun 15, 2021

Stochastic Gradient Optimization Techniques被引用数 8

ひとこと要約

本稿では、柔軟な自己適応行列を介して既存の適応的勾配手法を統一し、モーメンタムと分散低減を統合する、普遍的で高速な適応的勾配フレームワークであるSUPER-ADAMを提案する。非凸最適化において、最適な$\tilde{O}(\tau^{-3})$の確率的1次オракル複雑度を達成し、理論的下界と一致しており、ディープラーニングのベンチマークでも一貫した性能向上を示している。

ABSTRACT

Adaptive gradient methods have shown excellent performances for solving many machine learning problems. Although multiple adaptive gradient methods were recently studied, they mainly focus on either empirical or theoretical aspects and also only work for specific problems by using some specific adaptive learning rates. Thus, it is desired to design a universal framework for practical algorithms of adaptive gradients with theoretical guarantee to solve general problems. To fill this gap, we propose a faster and universal framework of adaptive gradients (i.e., SUPER-ADAM) by introducing a universal adaptive matrix that includes most existing adaptive gradient forms. Moreover, our framework can flexibly integrate the momentum and variance reduced techniques. In particular, our novel framework provides the convergence analysis support for adaptive gradient methods under the nonconvex setting. In theoretical analysis, we prove that our SUPER-ADAM algorithm can achieve the best known gradient (i.e., stochastic first-order oracle (SFO)) complexity of $ ilde{O}(ε^{-3})$ for finding an $ε$-stationary point of nonconvex optimization, which matches the lower bound for stochastic smooth nonconvex optimization. In numerical experiments, we employ various deep learning tasks to validate that our algorithm consistently outperforms the existing adaptive algorithms. Code is available at https://github.com/LIJUNYI95/SuperAdam

研究の動機と目的

• 多様な機械学習問題に適用可能な普遍的で理論的裏付けのある適応的勾配フレームワークの欠如に対処すること。
• Adam、Adagrad、AdaGradなどの既存の適応的勾配手法を、普遍的な自己適応行列を用いて一つの柔軟なフレームワークに統合すること。
• 収束性と安定性の向上を目的として、フレームワーク内にモーメンタムと分散低減技術を統合すること。
• 非凸設定下での適応的勾配手法の収束解析を確立し、最適な勾配複雑度を達成すること。
• 画像分類および言語モデリングタスクにおける提案フレームワークの優位性を実験的に検証すること。

提案手法

• Adam、Adagrad、AdaGradなどの既存の適応的勾配形式を一般化する普遍的な自己適応行列$H_t$を導入する。
• パラメータ化された減衰メカニズムを通じて、適応的学習率とモーメンタム、分散低減を統合する新しい更新則を設計する。
• 探索と活用のバランスを図るため、時間に依存する学習率$\alpha_t = c \mu_t^\tau$を用いる。ここで$\mu_t = \frac{k}{(m+t)^{1/3}}$または$\frac{k}{(m+t)^{1/2}}$であり、$\tau \in \{0,1\}$に応じて変化する。
• 発散を防ぐために、初期段階で$\alpha_t = \min(\alpha_t, 0.9)$というクリッピング機構を適用する。
• 自己適応行列$H_t$を1次（勾配）および2次（分散）情報と統合し、学習の安定性を高める。
• 非凸設定下での理論的収束解析を提供し、$\tau=1$の場合に$\tilde{O}(\epsilon^{-3})$のSFO複雑度が証明され、既知の下界と一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 1つの普遍的な行列形式で、Adam、Adagrad、AdaGradなどの既存手法を統一できる適応的勾配フレームワークは存在するか？
• RQ2 提案フレームワークは、非凸確率的最適化において最適な収束複雑度を達成するか？
• RQ3 モーメンタムと分散低減技術の統合により、学習の安定性と収束速度が向上するか？
• RQ4 画像分類や言語モデリングなどの多様なディープラーニングタスクにおいて、フレームワークの性能はどのように評価されるか？
• RQ5 特に非i.i.d.またはノイズの多いデータ設定下でも、理論的収束保証は実際の状況で成立するか？

主な発見

• SUPER-ADAMは、非凸最適化における$\epsilon$-停留点を求めるために、$\tilde{O}(\epsilon^{-3})$の最高水準の確率的1次オラクル（SFO）複雑度を達成しており、理論的下界と一致している。
• $\tau=1$の場合、ResNet-34を用いたCIFAR-10、CIFAR-100、ImageNetの各タスクで、Adam、Adam+（Ada-Norm-SGD）、STORMその他の適応的手法を常に上回る性能を示した。
• LSTMを用いたWiki-Text2言語モデリングタスクにおいて、SUPER-ADAM（$\tau=1$）は最低のパープレキシティを達成し、すべてのベースラインを上回った。
• 自己適応行列$H_t$の条件数は時間経過とともに減少し、全勾配の$\ell_2$ノルムも減少する傾向を示しており、理論的収束挙動の妥当性が裏付けられた。
• $\tau=0$の場合、SUPER-ADAMはAdamやAmsGradと同等の性能を示し、異なる設定においても高いロバスト性と柔軟性を示した。
• アルゴリズムは安定的かつ汎用的であり、手動での学習率チューニングの必要がなく、多様なアーキテクチャとデータセットで良好な性能を発揮した。