[論文レビュー] Calibrating the Learning Rate for Adaptive Gradient Methods to Improve Generalization Performance.

Qianqian Tong, Guannan Liang+1 more|arXiv (Cornell University)|Aug 2, 2019

Sparse and Compressive Sensing Techniques参考文献 10被引用数 3

ひとこと要約

本稿では、ソフトプラス活性化関数を用いて適応的学習率のスケーリングを補正することで、ネットワーク次元にわたる非等方的スケーリングを低減する、SadamおよびSAMSGradという2つの適応的勾配法を提案する。これらの手法は、複数のディープラーニングタスクにおいて、AdamやS-Momentumよりも収束速度と一般化性能を向上させ、かつ従来の研究で無視されてきたハイパーパrameter εがAdamの収束に依存することを理論的に証明している。

ABSTRACT

Adaptive gradient methods (AGMs) have become popular in optimizing the nonconvex problems in deep learning area. We revisit AGMs and identify that the adaptive learning rate (A-LR) used by AGMs varies significantly across the dimensions of the problem over epochs (i.e., anisotropic scale), which may lead to issues in convergence and generalization. All existing modified AGMs actually represent efforts in revising the A-LR. Theoretically, we provide a new way to analyze the convergence of AGMs and prove that the convergence rate of extsc{Adam} also depends on its hyper-parameter $\epsilon$, which has been overlooked previously. Based on these two facts, we propose a new AGM by calibrating the A-LR with an activation ({\em softplus}) function, resulting in the extsc{Sadam} and extsc{SAMSGrad} methods \footnote{Code is available at this https URL.}. We further prove that these algorithms enjoy better convergence speed under nonconvex, non-strongly convex, and Polyak-Łojasiewicz conditions compared with extsc{Adam}. Empirical studies support our observation of the anisotropic A-LR and show that the proposed methods outperform existing AGMs and generalize even better than S-Momentum in multiple deep learning tasks.

研究の動機と目的

• 適応的勾配法（AGM）におけるネットワーク次元にわたる非等方的適応的学習率スケーリングの問題に対処すること。これは収束性と一般化性能の向上を妨げる要因となる。
• AGMの収束性を理論的に再分析し、Adamの収束速度がハイパーパrameter εに依存することを明らかにすること。これは従来の文献で無視されてきた要因である。
• 次元ごとの学習率スケーリングの非等方的特性を補正する、補正された適応的学習率を用いた新しい適応的最適化手法の設計。
• 多様なディープラーニングタスクにおいて、既存のAGMおよびS-Momentumと比較して、一般化性能を向上させること。
• 提案手法の理論的収束保証を、非凸、非強い凸、およびPolyak-Łojasiewicz条件の下で確立すること。

提案手法

• AGMにおける適応的学習率をソフトプラス活性化関数を用いて補正することで、ネットワーク次元にわたる学習率スケーリングの安定化と正則化を実現する。
• SadamおよびSAMSGradを、更新式にソフトプラス補正された適応的学習率を適用する新しい適応的最適化アルゴリズムとして導入する。
• ソフトプラス関数により、滑らかで非負の学習率スケーリングが保証され、パラメータ次元にわたる極端な変動が低減される。
• 理論的分析により、Adamの収束速度がεに依存することを証明し、この要因を新規手法の設計に組み込む。
• SAMSGradは、元のSAMSGradアルゴリズムを改良し、非凸およびPolyak-Łojasiewicz条件下での収束性を向上させるために、補正された適応的学習率を統合する。
• Adamと同等の計算効率を維持しながら、次元ごとの制御された学習率適応により、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 適応的勾配法における非等方的適応的学習率スケーリングは、収束性と一般化性能にどのように影響を与えるか？
• RQ2 ハイパーパrameter εがAdamの収束速度に与える理論的影響は何か？ そして、最適化の改善に活用可能か？
• RQ3 ソフトプラス関数を用いた適応的学習率の補正は、ディープラーニングにおけるより良い一般化性能とより速い収束性をもたらすか？
• RQ4 SadamおよびSAMSGradは、多様なディープラーニングタスクにおいて、AdamやS-Momentumと比較して一般化性能でどのように差をつけるか？
• RQ5 非凸、非強い凸、Polyak-Łojasiewicz条件下で、提案手法がより速い収束速度を達成する理論的条件は何か？

主な発見

• 実験的結果により、既存のAGMにおいてパラメータ次元にわたる非等方的適応的学習率スケーリングが顕在していることが確認され、本稿の核心的動機が裏付けられた。
• 理論的分析により、Adamの収束速度がハイパーパrameter εに依存することを証明した。これは従来の文献で無視されてきた要因である。
• SadamおよびSAMSGradは、非凸、非強い凸、およびPolyak-Łojasiewicz条件下で、Adamよりも速い収束速度を達成した。
• 実験的評価により、SadamおよびSAMSGradは既存のAGMやS-Momentumよりも一般化性能に優れ、複数のディープラーニングベンチマークでS-Momentumを上回った。
• ソフトプラス補正により、ネットワーク次元にわたる極端な学習率の変動が効果的に低減され、より安定的で一般化可能な最適化が実現された。
• SadamおよびSAMSGradのコードは公開されており、再現性とさらなる研究を可能にしている。