[論文レビュー] Gradient Descent based Optimization Algorithms for Deep Learning Models Training

Jiawei Zhang|arXiv (Cornell University)|Mar 11, 2019

Stochastic Gradient Optimization Techniques参考文献 10被引用数 45

ひとこと要約

ディープニューラルネットワークの学習における勾配降下法ベースの最適化手法を網羅的に紹介する概要。バニラ、確率的、ミニバッチ、モーメンタム、Nesterov、適応法（Adagrad、RMSprop、Adadelta）、およびGadamのようなハイブリッド手法を含み、正式な定義、式、アルゴリズムの疑似コードを提示。

ABSTRACT

In this paper, we aim at providing an introduction to the gradient descent based optimization algorithms for learning deep neural network models. Deep learning models involving multiple nonlinear projection layers are very challenging to train. Nowadays, most of the deep learning model training still relies on the back propagation algorithm actually. In back propagation, the model variables will be updated iteratively until convergence with gradient descent based optimization algorithms. Besides the conventional vanilla gradient descent algorithm, many gradient descent variants have also been proposed in recent years to improve the learning performance, including Momentum, Adagrad, Adam, Gadam, etc., which will all be introduced in this paper respectively.

研究の動機と目的

• ディープニューラルネットワークの学習のための勾配降下法ベースの最適化を導入する。
• 従来の勾配法、モーメンタム、適応勾配法を提示・比較する。
• コアとなる最適化アルゴリズムの正式な式と疑似コードを提供する。
• 学習率、収束、鞍点といった実務的な考慮事項を議論する。

提案手法

• ディープネットワークの学習目標を L(theta; T) の最小化として定義する。
• バニラ勾配降下法、SGD、およびミニバッチGDとその更新規則を提示する。
• Look-ahead/更新スキームを用いたMomentumおよびNesterov Accelerated Gradientを導入する。
• 適応的勾配法（Adagrad、RMSprop、Adadelta）とパラメータごとの学習率を説明する。
• 各手法のアルゴリズム的疑似コードを提供し、収束性と安定性の考慮事項を論じる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルを訓練するための基本的な勾配降下ベースのアルゴリズムは何か、それらはデータの使用量と更新規則の面でどう異なるか。
• RQ2 MomentumとLook-ahead手法（Nesterov）は標準の勾配降下よりも収束をどう改善するか。
• RQ3 適応勾配法はパラメータ間および時間とともに学習率をどう調整するのか、そしてそのトレードオフは何か。
• RQ4 学習率、収束基準、鞍点といった実務的考慮事項がこれらのアルゴリズムの訓練安定性と性能にどう影響するか。
• RQ5 ハイブリッドアプローチ（例：Gadam）は勾配ベースの学習を進化戦略と組み合わせてモデル訓練を最適化できるか。

主な発見

• バニラGD、SGD、およびミニバatch GDの正式な定義と更新式を提供する。
• MomentumとNesterov Accelerated Gradientを導出・解説し、収束挙動への影響を説明する。
• 適応勾配法Adagrad、RMSprop、Adadeltaを、パラメータごとの学習率と減衰機構とともに詳述する。
• 主要手法のアルゴリズム的疑似コードを提供し、実装と比較を容易にする。
• 学習率の選択・調整、深層ネット訓練における鞍点回避など実務的課題を論じる。
• 勾配降下と遺伝的進化を組み合わせたハイブリッドな勾配概念（Gadam）を導入し、勾配降下と遺伝的進化の統合の変法として提示する。