[論文レビュー] Escaping Saddle Points with Adaptive Gradient Methods

Matthew Staib, Sashank J. Reddi+3 more|arXiv (Cornell University)|Jan 26, 2019

Stochastic Gradient Optimization Techniques被引用数 23

ひとこと要約

本稿は、Adam や RMSProp などの適応的手法を分析するための新規なプリコンディショニング付き SGD フレームワークを導入し、勾配ノイズの等方的スケーリングにより、それらが SGD よりも速く鞍点を脱出できることを示している。本稿は、任意の適応的手法に対して最初の2次までの収束保証を提供し、オンラインで推定されるプリコンディショナーを介して、2次までの停留点への収束がより速く達成されることを証明している。

ABSTRACT

Adaptive methods such as Adam and RMSProp are widely used in deep learning but are not well understood. In this paper, we seek a crisp, clean and precise characterization of their behavior in nonconvex settings. To this end, we first provide a novel view of adaptive methods as preconditioned SGD, where the preconditioner is estimated in an online manner. By studying the preconditioner on its own, we elucidate its purpose: it rescales the stochastic gradient noise to be isotropic near stationary points, which helps escape saddle points. Furthermore, we show that adaptive methods can efficiently estimate the aforementioned preconditioner. By gluing together these two components, we provide the first (to our knowledge) second-order convergence result for any adaptive method. The key insight from our analysis is that, compared to SGD, adaptive methods escape saddle points faster, and can converge faster overall to second-order stationary points.

研究の動機と目的

• 非凸最適化における適応的手法を原理的かつ明確に特徴づけること。
• なぜ適応的手法が SGD よりも速く鞍点を脱出するのかを説明すること。
• 任意の適応的手法に対して最初の2次までの収束結果を確立すること。
• β などの適応的手法のハイパーパrameter をチューニングするための実用的知見を提供すること。
• 理論的明確化のため、プリコンディショナー設計とオンライン推定を分離すること。

提案手法

• 適応的手法をオンラインで推定されるプリコンディショナーを備えたプリコンディショニング付き SGD として再定式化すること。
• 推定誤差とは独立して、プリコンディショナーの理想化された挙動を分析すること。
• プリコンディショナーが停留点付近で勾配ノイズを等方的にスケーリングすることを示し、これにより鞍点脱出が高速化されることを示すこと。
• 指数移動平均を用いることで、適応的手法が必要なプリコンディショナーを効率的に推定できることを証明すること。
• 行列摂動理論を用いて、真のプリコンディショナーと推定されたプリコンディショナーの間の誤差を評価すること。
• 理想化された収束と推定誤差の境界を組み合わせることで収束速度を導出すること。

実験結果

リサーチクエスチョン

• RQ1 Adam や RMSProp といった適応的手法は、実証的成功を超えて、非凸最適化でどのように振る舞うのか？
• RQ2 理論的課題があるにもかかわらず、なぜ適応的手法は SGD よりも速く鞍点を脱出するのか？
• RQ3 任意の適応的手法に対して2次までの収束保証を提供できるか？
• RQ4 プリコンディショナーは、収束の加速と鞍点脱出をどのように促進するのか？
• RQ5 最適な性能を得るために、指数移動平均のパrameter β はどのようにチューニングすべきか？

主な発見

• 適応的手法は2次までの収束を達成し、これは任意の適応的手法に対して最初の結果である。
• 適応的手法で用いられるプリコンディショナーは、停留点付近で勾配ノイズを等方的にスケーリングし、これにより鞍点脱出が加速される。
• 適応的手法は、指数移動平均を用いることで、必要なプリコンディショナーを効率的に推定できる。
• 本分析により、Reddi et al. (2018b) の反例がなぜ適応的手法に難しいかが説明される：これは劣悪なプリコンディショナー推定を悪用している。
• 収束を保証する原理的ガイドラインを提供し、T > 4/α が収束に適していると示唆する。ここで α は問題パラメータに依存する。
• 条件数に関連する要因で収束速度が向上し、推定誤差とノイズの両方に明示的な境界が得られる。