[論文レビュー] Convergence guarantees for RMSProp and ADAM in non-convex optimization and their comparison to Nesterov acceleration on autoencoders.

Amitabh Basu, Soham De+2 more|arXiv (Cornell University)|Jul 18, 2018

Stochastic Gradient Optimization Techniques参考文献 16被引用数 32

ひとこと要約

この論文は、非凸最適化におけるRMSPropおよびADAMの理論的収束保証を提供し、限定時間内で臨界点に収束することを証明している。オートエンコーダーにおける実験では、ADAMは高い運動量（$eta_1 = 0.99$）の設定でNesterov加速勾配（NAG）を上回り、特に深層ネットワークにおいて顕著な性能を発揮する一方、ADAMが標準設定の$eta_1 = 0.9$を使用する際にはNAGが優れる。

ABSTRACT

RMSProp and ADAM continue to be extremely popular algorithms for training neural nets but their theoretical foundations have remained unclear. In this work we make progress towards that by giving proofs that these adaptive gradient algorithms are guaranteed to reach criticality for smooth non-convex objectives and we give bounds on the running time. We then design experiments to compare the performances of RMSProp and ADAM against Nesterov Accelerated Gradient method on a variety of autoencoder setups. Through these experiments we demonstrate the interesting sensitivity that ADAM has to its momentum parameter $\beta_1$. We show that in terms of getting lower training and test losses, at very high values of the momentum parameter ($\beta_1 = 0.99$) (and large enough nets if using mini-batches) ADAM outperforms NAG at any momentum value tried for the latter. On the other hand, NAG can sometimes do better when ADAM's $\beta_1$ is set to the most commonly used value: $\beta_1 = 0.9$. We also report experiments on different autoencoders to demonstrate that NAG has better abilities in terms of reducing the gradient norms and finding weights which increase the minimum eigenvalue of the Hessian of the loss function.

研究の動機と目的

• 滑らかな非凸最適化問題におけるRMSPropおよびADAMの理論的収束保証を確立すること。
• 実際の応用においてADAMの運動量ハイパーパrameter $\beta_1$ への感受性を分析すること。
• さまざまなオートエンコーダー・アーキテクチャにおいてADAMとNesterov加速勾配（NAG）の性能を比較すること。
• 各最適化手法が勾配ノルムをどのように低減し、ヘッセ行列の条件数をどのように改善するかを評価すること。
• 非凸ディープラーニングの文脈におけるADAMおよびNAGの最適なハイパーパrameter設定を特定すること。

提案手法

• 理論的分析により、RMSPropおよびADAMが滑らかな非凸目的関数に対して臨界点に収束することを証明し、収束時間の上限を示した。
• 実験的評価により、複数のオートエンコーダー設定（異なるネットワークの深さとミニバッチサイズを想定）においてADAMとNAGを比較した。
• ADAMの$\beta_1$を標準の$0.9$から高い$0.99$に変化させ、訓練損失およびテスト損失に与える影響を評価した。
• 最適化の質の指標として、勾配ノルムの低減と最小ヘッセ固有値の変化をモニタリングした。
• 異なるアーキテクチャを用いて、性能のロバストネスおよび一般化性能を評価した。
• 最適化効果を評価するために、訓練損失と一般化性能（テスト損失）の両方の指標を含めた。

実験結果

リサーチクエスチョン

• RQ1 RMSPropおよびADAMは、非凸最適化において理論的に臨界点に収束することが保証されるか？
• RQ2 ADAMの$\beta_1$の選択が、NAGに対する性能にどのように影響するか？
• RQ3 どのような条件下でADAMが訓練損失およびテスト損失の観点でNAGを上回るのか？
• RQ4 NAGはADAMに比べて、勾配ノルムの低減やヘッセ行列の条件付けにおいて優れた性能を示すか？
• RQ5 ネットワークの深さおよびミニバッチサイズは、ADAMとNAGの性能差にどのように影響するか？

主な発見

• 滑らかな非凸最適化において、RMSPropおよびADAMは限定時間内で臨界点に収束することが理論的に保証されている。
• ADAMが$\beta_1 = 0.99$の設定を使用する際、特にミニバッチを用いた深層ネットワークにおいて、NAGに比べて低い訓練損失およびテスト損失を達成する。
• ADAMが標準の$\beta_1 = 0.9$を使用する場合、一般化性能の観点でNesteror加速勾配（NAG）がしばしば優れる。
• NAGはADAMに比べて、最適化過程で勾配ノルムをより効果的に低減する能力に優れている。
• NAGはまた、より高いヘッセ行列の最小固有値を持つ解を発見する傾向があり、より良好な局所的曲率特性を示唆している。
• ADAMの性能は$\beta_1$の選択に極めて敏感であり、深層設定では$\beta_1 = 0.99$が$\beta_1 = 0.9$よりも顕著な改善をもたらす。