[論文レビュー] Adaptive Gradient Descent without Descent

Yura Malitsky, Konstantin Mishchenko|arXiv (Cornell University)|Oct 21, 2019

Sparse and Compressive Sensing Techniques参考文献 35被引用数 17

ひとこと要約

本稿では、勾配情報のみを必要とし、局所的な曲率に基づいてステップサイズを自動的に調整する、新たな適応的勾配降下法を提案する。ラインサーチやグローバルな滑らかさの知識が不要であり、凸および非凸問題において、グローバル滑らかさ定数が無限大であっても、局所滑らかさにのみ依存する収束レートで収束を達成する。

ABSTRACT

We present a strikingly simple proof that two rules are sufficient to automate gradient descent: 1) don't increase the stepsize too fast and 2) don't overstep the local curvature. No need for functional values, no line search, no information about the function except for the gradients. By following these rules, you get a method adaptive to the local geometry, with convergence guarantees depending only on the smoothness in a neighborhood of a solution. Given that the problem is convex, our method converges even if the global smoothness constant is infinity. As an illustration, it can minimize arbitrary continuously twice-differentiable convex function. We examine its performance on a range of convex and nonconvex problems, including logistic regression and matrix factorization.

研究の動機と目的

• 勾配降下法におけるステップサイズ選択という長年の課題に取り組むこと。これは、しばしば手動でのチューニングや高コストのラインサーチを必要とする。
• 関数値やグローバル滑らかさ定数に依存せずに、局所幾何に適応する手法を開発すること。
• グローバル滑らかさ定数が無限大であっても最小限の仮定の下で収束保証を提供すること。
• 凸および非凸問題に対して、勾配情報のみを用いて、ロバストかつ自動的な最適化を可能にすること。

提案手法

• 本手法は2つの適応的ルールを用いる：(1) ステップサイズの増大を制限して不安定性を防ぎ、(2) 局所的曲率を超過するステップを避ける。
• ラインサーチや関数評価を避けて、現在および直前の勾配のみを用いてステップサイズを動的に計算する。
• ステップサイズは $ \lambda_k \leq \min\left\{ \sqrt{1+\theta_k}\lambda_{k-1}, \frac{\alpha \|x^k - x^{k-1}\|}{\|\nabla f_{\xi^k}(x^k) - \nabla f_{\xi^k}(x^{k-1})\|} \right\} $ で制限され、ここで $ \theta_k $ は増大を制御する。
• 確率的設定では、勾配とステップサイズの両方の計算に同じサンプルを用いるため、バイアスは生じるが効率的な更新が可能になる。
• 強い凸性と局所滑らかさの下で、グローバル滑らかさ定数が無限大であっても、線形収束が証明されている。
• 関数の最適値 $ f_* $ や滑らかさ定数 $ L $、正則化定数 $ \mu $ の知識が不要であり、勾配情報と局所曲率推定値のみに依存する。

実験結果

リサーチクエスチョン

• RQ1 関数評価やラインサーチなしに、勾配情報のみで勾配降下法を完全に適応的に行うことは可能か？
• RQ2 グローバル滑らかさ定数が無限大であっても、局所滑らかさの下で収束を保証できるか？
• RQ3 ステップサイズのルールが勾配差とステップサイズ増大の制御にのみ依存する場合、凸および非凸設定で収束を保証できるか？
• RQ4 このような手法は、SGD や Adam や適応的ステップサイズ法に比べて実際の性能を上回るか？
• RQ5 収束を損なわずに、勾配とステップサイズの両方の計算に同じ確率的サンプルを使用することは可能か？

主な発見

• グローバル滑らかさ定数が無限大であっても、局所滑らかさにのみ依存して、凸関数において収束を達成する。
• 強い凸かつ滑らかな関数に対しては、収束レートが $ \mathbb{E}[\|x^k - x^*\|^2] \leq \exp(-k\alpha\mu/L) C_0 $ で線形収束を示し、ここで $ C_0 $ は初期誤差とステップサイズに依存する。
• 過パラメータ化されたモデルを用いた確率的設定では、勾配とステップサイズの計算に同じサンプルを用いることで、線形収束を達成する。
• ResNet-18 および DenseNet-121 における画像分類タスクで、Adam や SGD とチューニング済みハイパーパrameterを比較した場合、本手法は同等またはそれ以上の性能を示す。
• 収束レートは $ \mathcal{O}(L^2/\gamma\mu^2 \log(1/\varepsilon)) $ であり、$ \mathbb{E}[\|x^k - x^*\|^2] = \mathcal{O}(\varepsilon + \gamma\sigma^2) $ を達成するためのもので、$ \gamma \leq 1 $ である。
• 初期ステップサイズが悪くてもロバストであり、Polyak のステップサイズとは異なり、$ f_* $ のチューニングが不要である。