[論文レビュー] Adaptive Gradient Descent for Convex and Non-Convex Stochastic Optimization

Darina Dvinskikh, Aleksandr Ogaltsov+4 more|arXiv (Cornell University)|Nov 19, 2019

Stochastic Gradient Optimization Techniques参考文献 41被引用数 13

ひとこと要約

本稿では、未知の勾配リプシッツ定数および確率的分散に同時に適応するアーミジョ型ラインサーチを用いた、凸および非凸確率的最適化のための適応的勾配降下法を提案する。この手法は、ハイパーパramータのチューニングや問題パラメータの事前知識を必要とせず、局所的な滑らかさとノイズに基づいて動的にステップサイズを調整することで、Adam や AdaGrad よりも高速な収束を達成する。

ABSTRACT

In this paper we propose several adaptive gradient methods for stochastic optimization. Unlike AdaGrad-type of methods, our algorithms are based on Armijo-type line search and they simultaneously adapt to the unknown Lipschitz constant of the gradient and variance of the stochastic approximation for the gradient. We consider an accelerated and non-accelerated gradient descent for convex problems and gradient descent for non-convex problems. In the experiments we demonstrate superiority of our methods to existing adaptive methods, e.g. AdaGrad and Adam.

研究の動機と目的

• リプシッツ定数や勾配分散の事前知識を必要としない、確率的最適化のための適応的勾配法の開発。
• Adam や AdaGrad などの既存の適応的手法の限界を克服し、ハイパーパramータのチューニングを必要とせず、ミニバッチ処理に対しても良好に適応できる手法の設計。
• 不正確なオракルモデルを活用することで、滑らかでない問題に対しても適用可能な汎用的アルゴリズムの設計。
• 局所的な曲率とノイズに基づいた動的ステップサイズ調整を可能にし、滑らかな領域での収束速度の向上。
• 初期条件やハイパーパramータに敏感でない、多様な機械学習タスクにおけるロバストで優れた性能の実証。

提案手法

• 本手法は、局所的な勾配挙動と確率的誤差に基づいて、アーミジョ型ラインサーチを用いてステップサイズを適応的に決定する。
• 未知の比 $ D/L $ に同時に適応し、信号対ノイズ比または有効なリプシッツ定数として解釈される。
• 局所的リプシッツ定数 $ L_k $ の推定値を維持し、必要に応じてバックトラッキングにより更新する。
• バッチサイズを $ r $ として、$ \text{Var}[ abla f(x, \theta)] \leq D_0/r $ を満たすように適応的に選択することで、事前知識なしに収束を保証する。
• 凸問題に対しては非加速および加速バージョンの両方を拡張し、非凸問題に対しては標準的勾配降下法を適用する。
• 距離から解までの距離や複雑なハイパーパramータに依存せず、不正確なオラクルモデルと適応的ステップサイズルールに依存することで、依存を回避する。

実験結果

リサーチクエスチョン

• RQ1 アーミジョ型ラインサーチを確率的最適化に効果的に一般化できるか。$ L $ や $ D $ の事前知識なしに適応的ステップサイズを達成できるか。
• RQ2 $ D $, $ L $, または最適解までの距離の知識なしに、ミニバッチサイズの選択に頑健な適応的手法をどのように設計できるか。
• RQ3 Adam や AdaGrad よりも凸および非凸設定の両方で高速な収束を達成できるか。また、ハイパーパramータの選択に敏感でないか。
• RQ4 局所的な曲率に応じてステップサイズを滑らかな領域で増加させ、収束速度を向上させられるか。
• RQ5 不正確なオラクルモデルを用いて、滑らかでない問題に対しても汎用的であるようにできるか。

主な発見

• 期待されるオラクル複雑度は $ \tilde{T} = \frac{512 D_0 \bar{L}^2 (f(x^0) - f(x^*))}{\underline{L} \varepsilon^4} $ であり、$ \|\nabla f(x)\|^2 \leq \varepsilon^2 $ を達成するためのもので、バッチサイズは $ r = \frac{8D_0}{\varepsilon^2} $ である。
• MNIST および CIFAR10 データセットにおけるロジスティック回帰、全結合ネットワーク、CNN において、Adam や AdaGrad よりも収束が速いことが実証された。
• ハイパーパラメータの選択に頑健である：$ D_0 $, $ \varepsilon $, $ L_0 $ の広い範囲で性能が安定しており、初期値にほとんど依存しない。
• 理論的分析により、凸（加速および非加速）および非凸設定の両方で収束が保証され、収束速度は $ \varepsilon $, $ D_0 $, $ \bar{L} $ に依存する。
• 事前知識が不要な状態で、適応的ミニバッチ処理をサポートする。
• 実験的結果により、複数のタスクおよびアーキテクチャにおいて、トレーニング目的関数とテスト精度の両面で一貫した優位性が示された。