[論文レビュー] SGD in the Large: Average-case Analysis, Asymptotics, and Stepsize Criticality

Courtney Paquette, Kiwon Lee+2 more|arXiv (Cornell University)|Feb 8, 2021

Stochastic Gradient Optimization Techniques参考文献 76被引用数 4

ひとこと要約

本稿は、高次元設定における確率的勾配降下法（SGD）の新しい平均ケース解析フレームワークを、ランダム行列理論を用いて提案する。固定ステップサイズの場合、ランダムな最小二乗問題におけるSGDのダイナミクスは決定論的となり、ボルテラ積分方程式に従うことが示され、収束行動が段階的転移を示す臨界ステップサイズが存在することが明らかになった。この臨界ステップサイズは、平均ケース収束レートが、最悪ケースの境界よりも顕著に優れていることを示している。

ABSTRACT

We propose a new framework, inspired by random matrix theory, for analyzing the dynamics of stochastic gradient descent (SGD) when both number of samples and dimensions are large. This framework applies to any fixed stepsize and the finite sum setting. Using this new framework, we show that the dynamics of SGD on a least squares problem with random data become deterministic in the large sample and dimensional limit. Furthermore, the limiting dynamics are governed by a Volterra integral equation. This model predicts that SGD undergoes a phase transition at an explicitly given critical stepsize that ultimately affects its convergence rate, which we also verify experimentally. Finally, when input data is isotropic, we provide explicit expressions for the dynamics and average-case convergence rates (i.e., the complexity of an algorithm averaged over all possible inputs). These rates show significant improvement over the worst-case complexities.

研究の動機と目的

• データサイズとモデル次元の両方が大きい状況におけるSGDダイナミクスを分析するための新しい理論的フレームワークの構築を目的とする。
• 特に非漸近的・有限和設定において、固定ステップサイズがSGD収束に与える影響を理解することを目的とする。
• 最悪ケースの境界よりも実際の性能をより正確に反映する平均ケース収束レートを導出することを目的とする。
• SGDダイナミクスが段階的転移を示す臨界ステップサイズの特定を目的とする。

提案手法

• 高次元最小二乗問題におけるヘッセ行列の固有値分布をモデル化するためにランダム行列理論を用いる。
• 固定ステップサイズにおけるSGDの極限的ダイナミクスを支配する決定論的ボルテラ積分方程式を導出する。
• ボルテラ方程式の解をステップサイズ、駆動関数、固有値測度の関数として特徴付ける。
• 高次元極限において、経験的固有値測度が極限分布に弱収束することを確立する。
• 等方的および1層隠れ層を持つデータモデルにこの手法を適用し、明示的な平均ケース収束レートを導出する。
• SGDとSDE、SME、ストリーミングモデルを比較する数値シミュレーションにより予測の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 固定ステップサイズのもとで、大規模標本・高次元極限におけるSGDダイナミクスはどのように振る舞うか？
• RQ2 有限和・非漸近的設定において、SGDのダイナミクスは決定論的方程式で記述可能か？
• RQ3 収束行動が段階的転移を示す臨界ステップサイズが存在するか？
• RQ4 等方的データ下でのSGDの平均ケース収束レートは何か？ また、最悪ケースレートと比較してどうなるか？
• RQ5 提案されたボルテラモデルは、既存の確率的モデルと比較して、実際のSGD性能をどれほど正確に予測できるか？

主な発見

• ランダムな最小二乗問題におけるSGDのダイナミクスは、大規模標本・高次元極限において、ボルテラ積分方程式の解に収束する。
• 臨界ステップサイズにおいて段階的転移が発生し、その値は明示的に導出されており、収束速度に不連続な影響を与えることが示された。
• 等方的データでは、平均ケース収束レートが最悪ケースレートよりも顕著に優れており、明示的な閉形式の式が提供された。
• ボルテラモデルは、さまざまなステップサイズにおいてSGDの性能を正確に追跡でき、SDE、SME、ストリーミングモデルよりも忠実な再現性を示した。
• 臨界ステップサイズの閾値は、パラメータ数とサンプル数の比およびヘッセ行列の固有値分布の関数として導出された。
• 数値実験により理論的予測が確認され、ボルテラモデルはSGDダイナミクスを正確に再現した一方、他のモデルは顕著なバイアスを示した。