[論文レビュー] On the Convergence of AdaBound and its Connection to SGD

Pedro Savarese|arXiv (Cornell University)|Aug 13, 2019

Tensor decomposition and applications参考文献 13被引用数 18

ひとこと要約

この論文は、AdamとSGDの間のギャップを埋めるために設計された人気の適応的最適化手法AdaBoundの収束証明における重大な欠陥を特定する。弱い仮定の下で再定式化された$O(\sqrt{T})$のレグルス保証を提案し、実験的に特定の形の減衰付き更新を施したモーメンタムSGDが、より少ないハイパーパrameterと低い計算コストでCIFAR-10上でAdaBoundと同等の性能を達成できることを示している。

ABSTRACT

Adaptive gradient methods such as Adam have gained extreme popularity due to their success in training complex neural networks and less sensitivity to hyperparameter tuning compared to SGD. However, it has been recently shown that Adam can fail to converge and might cause poor generalization -- this lead to the design of new, sophisticated adaptive methods which attempt to generalize well while being theoretically reliable. In this technical report we focus on AdaBound, a promising, recently proposed optimizer. We present a stochastic convex problem for which AdaBound can provably take arbitrarily long to converge in terms of a factor which is not accounted for in the convergence rate guarantee of Luo et al. (2019). We present a new $O(\sqrt T)$ regret guarantee under different assumptions on the bound functions, and provide empirical results on CIFAR suggesting that a specific form of momentum SGD can match AdaBound's performance while having less hyperparameters and lower computational costs.

研究の動機と目的

• Luoら（2019）が提示したAdaBoundの収束証明における欠陥を特定し、是正すること。
• 元の定理よりも制限の少ない仮定の下でAdaBoundの新たなレグルス保証を確立すること。
• AdaBoundの性能が、計算コストが低く、ハイパーパrameterが少ないより単純な最適化手法によって再現可能かどうかを実験的に評価すること。
• モーメンタムSGDにおける減衰係数の役割と、AdaBoundとの最適化ダイナミクスへの影響を調査すること。

提案手法

• 著者らは、Luoら（2019）の定理4に反する収束保証に違反する確率的凸最適化問題を構築し、定理4の反例を示した。
• 単調性と同様の極限への収束を緩和した新たな境界関数に関する仮定を導入し、新たな$O(\sqrt{T})$のレグルスバウンドを導出した。
• 著者らはAdaBoundを再実装し、そのモーメンタム更新をAdaBoundと一致させるために減衰係数$\kappa = \beta_1$を用いたSGDの変形形と比較した。
• ハイパーパrameterを元のAdaBound設定に合わせて調整した上で、Wide ResNet 28-2を用いてCIFAR-10で実験を行った。
• AdaBoundの$\gamma$値を変化させた場合の性能分析を行い、減衰付きSGDバージョンにおけるバイアス補正の影響を評価した。
• アブレーションスタディでは、異なる$\gamma$値と最適化手法設定（バイアス補正有無を含む）における訓練精度とテスト精度を比較した。

実験結果

リサーチクエスチョン

• RQ1 Luoら（2019）の定理4で提示されたAdaBoundの収束保証は、すべての条件下で成立するのか、それとも反例が存在するのか？
• RQ2 境界関数の単調性および同一極限への収束を仮定しない弱い仮定の下で、AdaBoundの新たなレグルスバウンドを導出可能か？
• RQ3 減衰係数$\kappa = \beta_1$を有する単純なモーメンタムSGDの形式が、画像分類タスクでAdaBoundの性能を再現可能か？
• RQ4 ハイパーパrameter$\gamma$がAdaBoundの収束性および最終的性能に与える影響は何か？
• RQ5 バイアス補正は、減衰付きSGDバージョンの安定性と性能に向上をもたらすか？

主な発見

• Luoら（2019）の定理4のすべての仮定を満たしているにもかかわらず、収束に失敗する反例が構築され、この定理が誤りであることを証明した。
• 境界関数の単調性および同一極限への収束を要件としない弱い仮定の下で、AdaBoundの新たな$O(\sqrt{T})$のレグルス保証を確立した。
• AdaBoundの$\gamma = 10^{-10}$では、$\gamma = 0.001$と比較して訓練精度および最終テスト精度の両方で顕著な性能劣化が観察された。
• 減衰係数$\kappa = \beta_1$を有するモーメンタムSGDは、CIFAR-10で最終テスト精度94.01%を達成し、5回の実行平均でAdaBoundの93.90%をわずかに上回った。
• 減衰付きSGDは1更新あたり5dの浮動小数点演算で済み、AdaBoundの11dに比べて計算コストが低く、ハイパーパrameterも2つで済むのに対し、AdaBoundは5つ必要だった。
• 減衰付きSGDにバイアス補正を適用したことで、最終テスト精度の標準偏差が0.21から0.16に低下し、平均性能に影響を与えることなく安定性が向上した。