[論文レビュー] Towards Practical Adam: Non-Convexity, Convergence Theory, and Mini-Batch Acceleration

Congliang Chen, Li Shen+2 more|arXiv (Cornell University)|Jan 14, 2021

Stochastic Gradient Optimization Techniques参考文献 44被引用数 15

ひとこと要約

本稿は、非凸確率的最適化におけるAdam最適化法のグローバル収束を保証する、簡単で検証可能な十分条件を提案し、既知の発散問題を解決する。さらに、ミニバッチおよび分散型Adamにおける線形スケーリングを確立し、バッチサイズやノード数が大きくなるほど収束が改善することを示し、実世界のデータセットを用いた実験で裏付けられている。

ABSTRACT

Adam is one of the most influential adaptive stochastic algorithms for training deep neural networks, which has been pointed out to be divergent even in the simple convex setting via a few simple counterexamples. Many attempts, such as decreasing an adaptive learning rate, adopting a big batch size, incorporating a temporal decorrelation technique, seeking an analogous surrogate, extit{etc.}, have been tried to promote Adam-type algorithms to converge. In contrast with existing approaches, we introduce an alternative easy-to-check sufficient condition, which merely depends on the parameters of the base learning rate and combinations of historical second-order moments, to guarantee the global convergence of generic Adam for solving large-scale non-convex stochastic optimization. This observation, coupled with this sufficient condition, gives much deeper interpretations on the divergence of Adam. On the other hand, in practice, mini-Adam and distributed-Adam are widely used without any theoretical guarantee. We further give an analysis on how the batch size or the number of nodes in the distributed system affects the convergence of Adam, which theoretically shows that mini-batch and distributed Adam can be linearly accelerated by using a larger mini-batch size or a larger number of nodes.At last, we apply the generic Adam and mini-batch Adam with the sufficient condition for solving the counterexample and training several neural networks on various real-world datasets. Experimental results are exactly in accord with our theoretical analysis.

研究の動機と目的

• 非凸最適化におけるAdamの既知の発散問題を、グローバル収束を保証する簡単で検証可能な十分条件を同定することで解決すること。
• ミニバッチおよび分散型Adamの実用的利用に理論的裏付けを提供すること。これらは従来、収束保証が欠けていた。
• パラメータサーバー・モデル下でのミニバッチおよび分散型Adamに対して、線形スケーリング特性を確立すること。
• 実世界のニューラルネットワーク学習タスクにおける実験を通じて、理論的発見を検証すること。

提案手法

• 基本学習率と履歴的2階モーメントの組み合わせにのみ依存する、一般化されたAdamのグローバル収束の十分条件を導入する。
• 洗練された解析技術を用いて、この条件下での一般化されたAdamの収束速度を導出し、先行研究に比べてより明確な境界を得る。
• パラメータサーバー・モデル下でのミニバッチAdamおよび分散型Adamを分析し、バッチサイズおよびノード数に関して線形スケーリングが成立することを証明する。
• 勾配のノルムを抑え込むために、新規の不等式技術を採用し、より緊密な収束速度の導出を可能にする。
• 時間変動する学習率および適応的モーメンタム項を扱えるように、修正された解析フレームワークを用いる。
• 反例および実世界のディープラーニングタスクにおける実験を通じて、理論的結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 非凸確率的最適化におけるAdamのグローバル収束を保証する、簡単で検証可能な条件は存在するか？
• RQ2 バッチサイズを増加させると、ミニバッチAdamの収束速度にどのような影響を与えるか？
• RQ3 パラメータサーバー・モデル下での分散型Adamは、線形スケーリングを達成できるか？
• RQ4 提案された収束条件は、Adamにおける既知の発散問題を解消できるか？
• RQ5 新しい十分条件下でのAdamの理論的収束速度は何か？

主な発見

• 提案された十分条件は、非凸確率的最適化における一般化されたAdamのグローバル収束を保証し、既知の発散問題に対する実用的解決策を提供する。
• 一般化されたAdamの収束速度は、$\mathcal{O}(T^{-1}s^{1/2}d^{1/2} + T^{-1/2}d + T^{-1/3}s^{-1/4} + T^{-1/4}s^{-1/4}d^{1/2})$ で抑えられ、ここで $T$ は反復回数、$s$ はバッチサイズ、$d$ は次元である。
• ミニバッチAdamは線形スケーリングを達成する：理論予測通り、バッチサイズが大きくなるほど収束が改善する。
• 分散型Adamも、パラメータサーバー・モデル下でノード数に関して線形スケーリングを示す。
• 反例および実世界のデータセットに対する実験結果は、理論的収束特性およびスケーリング効果を確認する。
• 解析手法は、先行研究に比べてより明確な収束速度を導くことができ、特に時間変動する学習率および適応的モーメンタムの取り扱いにおいて優れている。