[論文レビュー] ADADELTA: An Adaptive Learning Rate Method

Matthew D. Zeiler|arXiv (Cornell University)|Dec 22, 2012

Neural Networks and Applications参考文献 6被引用数 5,519

ひとこと要約

ADADELTA は第一階情報のみを用いる次元ごとに適応的な学習率手法を導入し、手動の学習率調整を不要にし、アーキテクチャやデータ全体でのロバスト性を向上させます。

ABSTRACT

We present a novel per-dimension learning rate method for gradient descent called ADADELTA. The method dynamically adapts over time using only first order information and has minimal computational overhead beyond vanilla stochastic gradient descent. The method requires no manual tuning of a learning rate and appears robust to noisy gradient information, different model architecture choices, various data modalities and selection of hyperparameters. We show promising results compared to other methods on the MNIST digit classification task using a single machine and on a large scale voice dataset in a distributed cluster environment.

研究の動機と目的

• 手動チューニングを避ける学習率手法の必要性を動機づける。
• 第一階情報のみを用いた次元ごとの適応学習率を開発する。
• ADAGRAD で見られる継続的な学習率減衰の問題を緩和しつつ利点を維持する。
• データセット、アーキテクチャ、分散学習環境全体でのロバスト性を示す。

提案手法

• 指数移動平均を用いた勾配二乗和の窓状蓄積を導入する: E[g^2]_t = rho E[g^2]_{t-1} + (1 - rho) g_t^2.
• RMS に基づく正規化を用いて更新を計算する: Delta x_t = - (RMS[Delta x]_{t-1} / RMS[g]_t) g_t.
• 同じ rho を用いた更新の二乗和の蓄積 E[Delta x^2]_t を維持し、単位整合の更新を適応させる。
• 対角ヘシアンに触発した近似から ADADELTA の更新を導出し、適切な単位と安定性を確保する: Delta x_t = - (RMS[Delta x]_{t-1} / RMS[g]_t) g_t.
• 学習を開始・安定化させるために分子・分母の両方に epsilon を適用する。
• 初期化、勾配計算、蓄積、更新、適用を詳細に述べたアルゴリズム（Algorithm 1）を提供する。

実験結果

リサーチクエスチョン

• RQ1 第一階情報のみを用いて次元ごとの適応学習率を達成できるか。
• RQ2 勾配統計の窓状蓄積は、ADAGRAD のように学習率の発散を防ぐか。
• RQ3 RMS に基づく更新はデータセット、アーキテクチャ、分散設定全体で堅牢な性能をもたらすか。
• RQ4 ADADELTA のハイパーパラメータは SGD、Momentum、ADAGRAD と比べて性能にどのような影響を与えるか。
• RQ5 トレーニング中のネットワークの層間での有効な学習率に対する ADADELTA の影響はどうなるか。

主な発見

• ADADELTA は ADAGRAD の初期収束速度と同等かそれ以上を達成し、勾配の窓状蓄積により進捗を維持する。
• ADADELTA はハイパーパラメータ設定に対してロバスト性を示し、SGD、Momentum、ADAGRAD より感度が低い。
• MNIST では ADADELTA は競争力のあるテスト誤差を達成し、さまざまな活性化関数とネットワークサイズでも有効であり続ける。
• 大規模な音声実験では、ADADELTA は分散レプリカ間で良好に機能し、迅速な収束を維持する。
• 学習初期の下位層ではステップサイズが大きく、トレーニングが進むにつれて 1 に向かい、更新は滑らかに減少する。