[論文レビュー] A classification for the performance of online SGD for high-dimensional inference.

Gérard Ben Arous, Reza Gheissari+1 more|arXiv (Cornell University)|Mar 23, 2020

Stochastic Gradient Optimization Techniques参考文献 67被引用数 2

ひとこと要約

本稿は、母集団損失の内在的性質としての「情報指数」を定義することにより、高次元推論におけるオンライン確率的勾配降下法（SGD）の性能を分類する。弱い回復（真のパラメータとの相関がランダムより良い状態）に必要なサンプル数に応じて、線形、準線形、多項式のそれぞれが次元に対して、それぞれ容易、臨界、困難の3つの領域に分かれる。この分類は、一般化線形モデル、位相再構成、ニューラルネットワーク（ヘルメート分解を用いて）に応用可能である。

ABSTRACT

Stochastic gradient descent (SGD) is a popular algorithm for optimization problems arising in high-dimensional inference tasks. Here one produces an estimator of an unknown parameter from a large number of independent samples of data by iteratively optimizing a loss function. This loss function is high-dimensional, random, and often complex. We study here the performance of the simplest version of SGD, namely online SGD, in the initial search phase, where the algorithm is far from a trust region and the loss landscape is highly non-convex. To this end, we investigate the performance of online SGD at attaining a better than random correlation with the unknown parameter, i.e, achieving weak recovery. Our contribution is a classification of the difficulty of typical instances of this task for online SGD in terms of the number of samples required as the dimension diverges. This classification depends only on an intrinsic property of the population loss, which we call the information exponent. Using the information exponent, we find that there are three distinct regimes---the easy, critical, and difficult regimes---where one requires linear, quasilinear, and polynomially many samples (in the dimension) respectively to achieve weak recovery. We illustrate our approach by applying it to a wide variety of estimation tasks such as parameter estimation for generalized linear models, two-component Gaussian mixture models, phase retrieval, and spiked matrix and tensor models, as well as supervised learning for single-layer networks with general activation functions. In this latter case, our results translate into a classification of the difficulty of this task in terms of the Hermite decomposition of the activation function.

研究の動機と目的

• 高次元で非凸な最適化設定におけるオンラインSGDの初期段階の性能を理解すること。
• 高次元推論タスクにおいて、真のパラメータとの相関がランダムより良い「弱い回復」を達成する難易度を分類すること。
• 母集団損失の内在的性質に基づいて、サンプル複雑度の領域（線形、準線形、多項式）を特定すること。
• ガウス・ミックスチャネル、位相再構成、1層ニューラルネットワークなどの多様な推定タスクを統一的に分析すること。
• ニューラルネットワークにおける学習の難易度を活性化関数のヘルメート展開に関連付けること。

提案手法

• 母集団損失関数の主要な内在的性質として「情報指数」を導入し、サンプル複雑度を支配するものとする。
• 非凸な損失関数の下で、任意の信頼領域から離れた初期段階におけるオンラインSGDを分析する。
• 統計物理学にインspiredされた技術を用いて、真のパラメータとの相関に基づく弱い回復性能を特徴付ける。
• 情報指数の値に応じてサンプル複雑度の閾値を導出し、3つの明確に異なる領域を区別する。
• 一般化線形モデル、2成分ガウス混合モデル、スプライクドテンソルおよび行列モデル、1層ネットワークにこのフレームワークを適用する。
• ニューラルネットワークの文脈では、活性化関数のヘルメート係数に学習の難易度をマッピングし、スペクトル分解による分類を可能にする。

実験結果

リサーチクエスチョン

• RQ1 オンラインSGDが高次元推論で弱い回復を達成するために必要なサンプル複雑度を決定するのは何か？
• RQ2 母集団損失の構造は、非凸な初期段階におけるオンラインSGDの収束行動にどのように影響するか？
• RQ3 1つの内在的性質が、オンラインSGDの高次元推論タスクの難易度を分類可能か？
• RQ4 活性化関数のヘルメート展開は、1層ニューラルネットワークの学習可能性とどのように関係するか？
• RQ5 高次元設定における弱い回復のためのサンプル複雑度の明確な領域は何か？

主な発見

• 母集団損失の情報指数が、オンラインSGDによる弱い回復のサンプル複雑度領域を完全に決定する。
• 3つの明確な領域が出現する：容易（次元に比例するサンプル数）、臨界（次元に準比例するサンプル数）、困難（次元の多項式に比例するサンプル数）。
• この分類は普遍的であり、一般化線形モデル、ガウス混合モデル、位相再構成、スプライクドテンソル／行列モデルに適用可能である。
• 1層ニューラルネットワークでは、難易度は活性化関数のヘルメート展開により決定され、高次成分が増えるほどサンプル複雑度が増加する。
• 結果として、弱い回復の鋭い閾値が得られ、性能が損失の母集団構造の尾部挙動に強く依存することが示された。
• このフレームワークにより、シミュレーションを一切行わず、情報指数のみに依存して必要なサンプルサイズを予測可能である。