[論文レビュー] Calibrating the Adaptive Learning Rate to Improve Convergence of ADAM

Qianqian Tong, Guannan Liang+1 more|arXiv (Cornell University)|Aug 2, 2019

Stochastic Gradient Optimization Techniques被引用数 11

ひとこと要約

本稿では、Adamにおける自己適合学習率（A-LR）をソフトプラス活性化関数を用いて補正することで、パラメータ次元にわたる非等方性を低減するSadamおよびSAMSGradという自己適合最適化手法を提案する。理論的に収束性がハイパーパrameter εに依存することを示し、実験的に一般化性能の向上を示すことで、深層学習タスクにおいてAdamや他のAGMよりも高速な収束と優れたテスト性能を達成する。

ABSTRACT

Adaptive gradient methods (AGMs) have become popular in optimizing the nonconvex problems in deep learning area. We revisit AGMs and identify that the adaptive learning rate (A-LR) used by AGMs varies significantly across the dimensions of the problem over epochs (i.e., anisotropic scale), which may lead to issues in convergence and generalization. All existing modified AGMs actually represent efforts in revising the A-LR. Theoretically, we provide a new way to analyze the convergence of AGMs and prove that the convergence rate of extsc{Adam} also depends on its hyper-parameter $ε$, which has been overlooked previously. Based on these two facts, we propose a new AGM by calibrating the A-LR with an activation ({\em softplus}) function, resulting in the extsc{Sadam} and extsc{SAMSGrad} methods \footnote{Code is available at https://github.com/neilliang90/Sadam.git.}. We further prove that these algorithms enjoy better convergence speed under nonconvex, non-strongly convex, and Polyak-Łojasiewicz conditions compared with extsc{Adam}. Empirical studies support our observation of the anisotropic A-LR and show that the proposed methods outperform existing AGMs and generalize even better than S-Momentum in multiple deep learning tasks.

研究の動機と目的

• Adamにおける自己適合学習率の非等方性という問題に取り組み、一般化性能の低下を防ぐこと。
• ハイパーパrameter εが自己適合勾配法（AGM）における収束性に与える影響を理論的に分析すること。
• ソフトプラス関数を用いたA-LRの新たな補正メカニズムを提案し、収束速度と一般化性能の向上を図ること。
• 非凸およびPolyak-Łojasiewicz条件の下で収束性が保証される、Adamの改良版SadamおよびSAMSGradを構築すること。
• 実験的に、補正されたA-LRが一般化ギャップを低減し、既存のAGMおよびS-Momentumを上回ることを検証すること。

提案手法

• Adamにおける自己適合学習率（A-LR）をソフトプラス関数で補正し、$ \frac{1}{\sqrt{v_t} + \epsilon} $ を $ \frac{1}{\text{softplus}(v_t) + \epsilon} $ に置き換えることで、更新を滑らかで安定したものにする。
• SadamをAdamのソフトプラス補正版として導入し、2次モーメントの最大プールを用いたAMSGradに類似したSAMSGradを提案する。
• 理論的分析により、収束性がεに依存することを示し、非凸・強い凸でない・Polyak-Łojasiewicz条件の下でSadamがAdamと同等の収束速度を達成することを証明する。
• A-LRの次元間での有界性を保証することで、勾配が大きい座標への過剰適合のリスクを低減する。
• ソフトプラス関数は滑らかで微分可能であり、ハードクリッピングに比べて最適化ダイナミクスをより良くする。AdaBoundのようなしきい値ベースの手法より優れた最適化ダイナミクスを実現する。
• εおよび補正済みA-LRの影響を含めた収束性の理論的証明を拡張し、安定性と収束速度の向上を示す。

実験結果

リサーチクエスチョン

• RQ1 Adamにおける自己適合学習率（A-LR）はパラメータ次元にわたってどのように非等方的になるか。また、収束性および一般化性能にどのような影響を与えるか。
• RQ2 AdamのA-LR式におけるハイパーパrameter εがなぜ収束解析で無視されてきたのか。また、最適化性能に与える影響は何か。
• RQ3 ソフトプラス関数を用いたA-LRの補正は、深層学習モデルにおける収束速度および一般化性能の向上に寄与するか。
• RQ4 提案手法SadamおよびSAMSGradは、一般化性能の向上を図りながらも、Adamと同等の収束速度を維持するか。
• RQ5 SadamおよびSAMSGradは、多様な深層学習タスクにおいて、Adam、S-Momentum、および他のAGMと比較してどのように性能を発揮するか。

主な発見

• 実験結果により、AdamにおけるA-LRがパラメータ次元にわたって顕著に非等方的であることが確認され、これが最適化の非効率および一般化性能の低下を引き起こす可能性がある。
• 理論的分析により、Adamの収束速度がハイパーパrameter εに依存することが判明し、これは従来の分析で無視されてきた要因である。
• 非凸・強い凸でない・Polyak-Łojasiewicz条件の下で、SadamおよびSAMSGradはAdamよりも高速に収束し、保証された安定な収束性を示す。
• 多数の深層学習ベンチマークにおいて、SadamおよびSAMSGradはAdamよりも一般化性能に優れ、テスト精度でもS-Momentumを上回る。
• ソフトプラスに基づくA-LRの補正は、ハードクリッピング（例：AdaBound）よりも滑らかで安定した更新メカニズムを提供し、最適化ダイナミクスの向上を実現する。
• 適切な学習率スケジューリング（例：$ \eta = O(1/T^2) $）を用いることで、Sadamは$ O(1/T) $の収束速度を達成し、理論的境界に一致しつつ一般化性能を向上させる。