[論文レビュー] An overview of gradient descent optimization algorithms

Sebastian Ruder|arXiv (Cornell University)|Sep 15, 2016

Stochastic Gradient Optimization Techniques参考文献 18被引用数 4,784

ひとこと要約

ニューラルネットワークの訓練における勾配降下法のバリアントと人気の最適化アルゴリズムの調査。挙動、長所、適用ケースへの直感的解説。

ABSTRACT

Gradient descent optimization algorithms, while increasingly popular, are often used as black-box optimizers, as practical explanations of their strengths and weaknesses are hard to come by. This article aims to provide the reader with intuitions with regard to the behaviour of different algorithms that will allow her to put them to use. In the course of this overview, we look at different variants of gradient descent, summarize challenges, introduce the most common optimization algorithms, review architectures in a parallel and distributed setting, and investigate additional strategies for optimizing gradient descent.

研究の動機と目的

• 勾配降下法のバリアントの全体像と、それらがニューラルネットワークの訓練に与える実践的影響を説明する。
• 勾配に基づく方法での訓練における課題を要約し、異なるアルゴリズムがそれらにどう対処するかを説明する。
• 最適化アルゴリズムの選択についてガイダンスを提供し、並列/分散SGDと追加の最適化戦略について議論する。

提案手法

• 勾配降下法をバッチ、確率的、およびミニバッチのバリアントに分類し、それらのトレードオフを論じる。
• 共通の最適化アルゴリズムの更新規則を導出し提示する（Momentum、Nesterov、Adagrad、Adadelta、RMSprop、Adam、AdaMax、Nadam）。
• 損失面上の更新ダイナミクスの可視化と比較を通じて直感を提供する。
• 並列/分散SGDアーキテクチャをレビューする（Hogwild!, Downpour, Delay-tolerant methods, TensorFlow, Elastic Averaging SGD）。
• 追加の訓練強化手法を提案する（シャッフル、カリキュラム学習、バッチ正規化、早期停止、勾配ノイズ）。

実験結果

リサーチクエスチョン

• RQ1 主な勾配降下法のバリアントは何で、それらはデータの使用量と更新頻度の点でどう異なるか？
• RQ2 学習率の選択、鞍点、疎データなど、ニューラルネットワークの訓練における共通の課題を、人気のある最適化アルゴリズムはどのように緩和するか？
• RQ3 異なるデータ特性（例えば疎データ対密データ、非凸なランドスケープ）に対して、実務上どの最適化アルゴリズムが最も良い性能を発揮するか？
• RQ4 収束を損なうことなく、並列・分散アーキテクチャを介して勾配降下法をどうスケールさせることができるか？
• RQ5 訓練中にSGDの性能をさらに向上させる補助的戦略は何か？

主な発見

• ミニバッチ勾配降下法は、更新の安定性と計算効率のバランスの点でニューラルネットワークにとって最も人気のあるバリアントです。
• 適応学習率法（Adagrad、Adadelta、RMSprop、Adam、および派生形）は、特に疎データや大規模モデルで、素のSGDよりしばしば優れており、Adamは実証的な性能とバイアス補正を提供します。
• モーメンタムとNesterov加速は収束を速め、特に谷底状の領域や局所最小付近で反応性を改善します。
• 並列/分散SGDアプローチ（Hogwild!, Downpour, Elastic Averaging）は、大規模データセットでの訓練をより速くしますが、同期と収束に関する考慮が必要です。
• バッチ正規化とカリキュラム学習は、訓練を加速し一般化を改善できる価値ある補助戦略です。
• 実践的には、RMSprop、Adadelta、そしてAdamが堅牢なデフォルトの選択として強調されており、適応法の中で最も良い全体的な性能を提供することが多いのはAdamです。