[論文レビュー] Variants of RMSProp and Adagrad with Logarithmic Regret Bounds

Mahesh Chandra Mukkamala, Matthias Hein|arXiv (Cornell University)|Jun 17, 2017

Advanced Bandit Algorithms Research参考文献 17被引用数 110

ひとこと要約

本論文はオンライン凸最適化における RMSProp と Adagrad を分析し、RMSProp に対して sqrt(T) の後悔界限を、SC-Adagrad と SC-RMSProp に対して対数的な後悔界限を証明し、強凸性および深層学習設定で競争力のある性能を示す実験を行う。

ABSTRACT

Adaptive gradient methods have become recently very popular, in particular as they have been shown to be useful in the training of deep neural networks. In this paper we have analyzed RMSProp, originally proposed for the training of deep neural networks, in the context of online convex optimization and show $\sqrt{T}$-type regret bounds. Moreover, we propose two variants SC-Adagrad and SC-RMSProp for which we show logarithmic regret bounds for strongly convex functions. Finally, we demonstrate in the experiments that these new variants outperform other adaptive gradient techniques or stochastic gradient descent in the optimization of strongly convex functions as well as in training of deep neural networks.

研究の動機と目的

• オンライン凸最適化と深層学習のための適応的勾配法を動機づける。
• 一般的な凸設定における RMSProp の理論的後悔界限を確立する。
• 強凸関数に対して対数的後悔を持つ SC-Adagrad と SC-RMSProp を提案する。
• 凸問題および深層学習タスクにおいて、標準的な適応法および SGD よりも実証的な性能改善を示す。

提案手法

• RMSProp を対角事前条件付き更新として、凸集合への重み付き射影を用いてモデル化する。
• Adagrad が特定のパラメータ選択の下で RMSProp の特殊ケースに対応することを示す。
• 時間および座標ごとの減衰 delta_t を用いた SC-Adagrad を導入し、強凸関数に対して O(log T) の後悔を達成する。
• 類似の対数後悔保証を持つ強凸な SC-RMSProp の導入。
• データ依存の後悔界限を導出し、適応性と安定性を保証する delta_t の減衰方式を提供する。

実験結果

リサーチクエスチョン

• RQ1 オンライン凸最適化において RMSProp は後悔界限を達成できるか、どのような重み付け/バイアス方式の下でか？
• RQ2 SC-Adagrad および SC-RMSProp の変種は強凸目的関数に対して対数的後悔を達成するか？
• RQ3 オンライン設定において適応性と安定性のバランスを取るためには、減衰とステップサイズのスケジュールをどのように選ぶべきか？
• RQ4 提案手法は、強凸問題およびニューラルネットワークの学習において、既存の適応勾配法や SGD を上回るか？

主な発見

• RMSProp はオンライン凸最適化の枠組みで分析可能で、適切な重み付けの下でデータ依存の O(√T) 後悔界限を達成する。
• SC-Adagrad は、単調減衰の delta_t を用いて強凸関数に対してデータ依存の対数後悔界を達成する。
• SC-RMSProp は SC-Adagrad の解析を RMSProp 的更新に拡張し、強凸目的関数に対して対数後悔を導く。
• 減衰戦略 delta_t（例: xi2 e^{-xi1 v_t,i}）と座標ごとの適応は、実際の安定性と性能を改善する。
• 3つのデータセットでの実験は、新しい変種が強凸最適化およびニューラルネットワーク学習において、他の適応法や SGD を競合、あるいは上回ることを示している。