[論文レビュー] Online stochastic gradient descent on non-convex losses from high-dimensional inference

Gérard Ben Arous, Reza Gheissari+1 more|arXiv (Cornell University)|Mar 23, 2020

Stochastic Gradient Optimization Techniques被引用数 16

ひとこと要約

本稿は、高次元推論における非凸損失関数に対するオンライン確率的勾配降下法（SGD）のほぼ鋭いサンプル複雑度の閾値を確立し、母集団損失の主要な内在的性質として「情報指数」を導入する。ほとんどのデータが、真の値との非自明な相関を達成するための初期探索フェーズに使われることを示し、その後勾配降下は急速に進行し、大数の法則に類似した挙動を示す。これらの閾値は次元の多項式関数であり、情報指数に明示的に依存する。

ABSTRACT

Stochastic gradient descent (SGD) is a popular algorithm for optimization problems arising in high-dimensional inference tasks. Here one produces an estimator of an unknown parameter from independent samples of data by iteratively optimizing a loss function. This loss function is random and often non-convex. We study the performance of the simplest version of SGD, namely online SGD, from a random start in the setting where the parameter space is high-dimensional. We develop nearly sharp thresholds for the number of samples needed for consistent estimation as one varies the dimension. Our thresholds depend only on an intrinsic property of the population loss which we call the information exponent. In particular, our results do not assume uniform control on the loss itself, such as convexity or uniform derivative bounds. The thresholds we obtain are polynomial in the dimension and the precise exponent depends explicitly on the information exponent. As a consequence of our results, we find that except for the simplest tasks, almost all of the data is used simply in the initial search phase to obtain non-trivial correlation with the ground truth. Upon attaining non-trivial correlation, the descent is rapid and exhibits law of large numbers type behavior. We illustrate our approach by applying it to a wide set of inference tasks such as phase retrieval, and parameter estimation for generalized linear models, online PCA, and spiked tensor models, as well as to supervised learning for single-layer networks with general activation functions.

研究の動機と目的

• 従来の凸性や一様な導出バウンドが成り立たない高次元非凸推論問題におけるオンラインSGDのサンプル複雑度を理解すること。
• 初期探索フェーズと急速降下フェーズの間の相転移を、ランダムな初期化からの高次元SGDの観点から特徴付けること。
• 高次元設定における一貫推定に必要なサンプル数を支配する内在的性質「情報指数」を同定すること。
• 損失関数や勾配に対する一様な制御を仮定しない、次元に対して多項式関数となるサンプル複雑度の境界を提供すること。
• 位相検出、一般化線形モデル、および1層ニューラルネットワークを含む多様な推論タスクにわたるフレームワークの普遍性を示すこと。

提案手法

• 損失関数の母集団レベルの性質として、勾配のモーメント条件を用いて定義される「情報指数」を導入し、サンプル複雑度を支配する。
• 凸性や一様な滑らかさを仮定しない、ランダム初期化からのオンラインSGDを、探索フェーズと降下フェーズに分解する新しい手法を用いて分析する。
• 推定誤差の時間的増大を制御するため、離散的バイハリ＝ラサール不等式を適用し、非漸近的境界を可能にする。
• 測度の集中と確率的テンソル（例：スパイクテンソルモデル）のモーメントバウンドを用いて、情報指数に関する仮定を検証する。
• 非自明な相関が達成された後、降下フェーズが大数の法則に類似した挙動を示すことを確立する。
• 位相検出、オンラインPCA、一般化された活性化関数を有する1層ネットワークなど、複数のモデルに対してフレームワークを検証し、情報指数条件の妥当性を確認する。

実験結果

リサーチクエスチョン

• RQ1 高次元非凸推論におけるオンラインSGDが一貫推定を達成するために必要な最小サンプル数は何か？
• RQ2 凸性や一様な滑らかさが成り立たない状況下で、オンラインSGDの性能は母集団損失の内在的幾何構造にどのように依存するか？
• RQ3 ランダム初期化からの高次元SGDにおいて、データは初期探索フェーズと降下フェーズのどちらに多く使われるのか？
• RQ4 1つのパラメータ「情報指数」が、多様な推論タスクにわたるサンプル複雑度の閾値を統一的に記述できるか？
• RQ5 非自明な相関が達成された後、SGDの降下フェーズは決定論的で、大数の法則に類似した挙動を示すか？

主な発見

• 一貫推定のためのサンプル複雑度の閾値は次元に対して多項式関数であり、その指数は損失関数の情報指数によって明示的に決定される。
• 最も単純なタスクを除き、ほぼすべてのデータが真の値との非自明な相関を達成するための初期探索フェーズに消費される。
• 非自明な相関が達成された後、降下フェーズは急速に進行し、決定論的極限に収束し、大数の法則に類似した挙動を示す。
• 情報指数は一貫推定の鋭い閾値を支配し、凸性や一様な滑らかさではなく、損失の勾配のモーメント条件によって定義される。
• このフレームワークは、位相検出、一般化線形モデル、オンラインPCA、スパイクテンソルモデル、一般化された活性化関数を有する1層ネットワークなど、広範に適用可能である。
• 本分析では損失やその導関数に対する一様なバウンドを仮定しないため、測度の集中によりその仮定が成立しない高次元推論問題にも適用可能である。