[論文レビュー] The high-dimensional asymptotics of first order methods with random data

Michael Celentano, Cheng Chen+1 more|arXiv (Cornell University)|Dec 14, 2021

Theoretical and Computational Physics被引用数 15

ひとこと要約

本稿は、i.i.d. なサブガウス過程を有するランダムなデータ行列に対して、勾配フローを含む一次最適化手法の高次元漸近的特性を確立する。著者らは、近似メッセージパッシング（AMP）アルゴリズムへの新しい還元を用いて、力学系が次元kの非線形確率過程からなる決定的系に普遍的に収束することを証明した。この系は、動的平均場理論（DMFT）と呼ばれる固定点方程式に従う。この収束は、サブガウス分布の具体的な形に依存しない。

ABSTRACT

We study a class of deterministic flows in ${\mathbb R}^{d imes k}$, parametrized by a random matrix ${\boldsymbol X}\in {\mathbb R}^{n imes d}$ with i.i.d. centered subgaussian entries. We characterize the asymptotic behavior of these flows over bounded time horizons, in the high-dimensional limit in which $n,d o\infty$ with $k$ fixed and converging aspect ratios $n/d oδ$. The asymptotic characterization we prove is in terms of a system of a nonlinear stochastic process in $k$ dimensions, whose parameters are determined by a fixed point condition. This type of characterization is known in physics as dynamical mean field theory. Rigorous results of this type have been obtained in the past for a few spin glass models. Our proof is based on time discretization and a reduction to certain iterative schemes known as approximate message passing (AMP) algorithms, as opposed to earlier work that was based on large deviations theory and stochastic processes theory. The new approach provides a unified view of a general class of algorithms and implies that the high-dimensional behavior of the flow is universal with respect to the distribution of the entries of ${\boldsymbol X}$. As specific applications, we obtain high-dimensional characterizations of gradient flow in some classical models from statistics and machine learning, under a random design assumption.

研究の動機と目的

• n, d → ∞ かつ n/d → δ で k が固定されるランダム設計設定における一次最適化フローの高次元極限を特定すること。
• データ行列のエントリのサブガウス分布の具体的な形に依存しない、これらのフローの普遍的な漸近的記述を確立すること。
• 高次元統計および機械学習における勾配フローおよび関連アルゴリズムを分析するための厳密で統一的な枠組みを提供すること。
• 最適化軌道の極限的挙動をk次元確率過程として記述する明示的な固定点方程式（DMFT方程式）を導出すること。

提案手法

• データ行列 X ∈ R^{n×d} が i.i.d. で中心化されたサブガウス分布に従うものとして、最適化フローを R^{d×k} 上の決定的力学系として定式化する。
• 時間離散化を用いて連続的フローを近似し、近似メッセージパッシング（AMP）アルゴリズムに類似した反復スキームに還元する。
• フローの経験的分布が、非線形SDEの系に従うk次元の決定的確率過程に収束することを確立する。
• 極限力学系が、信号とノイズの共分散構造を含む固定点方程式を満たすことを証明し、関数空間上の収縮写像の議論を用いる。
• 一般化線形モデルやランダム特徴付きニューラルネットワーク学習といった具体的なモデルにこの枠組みを適用する。
• 回転不変性とスティンの補題を活用して固定点方程式を簡略化・解明し、それらをプロキシマル演算子とヘッシアン構造に関連付ける。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. ランダムデータ行列を用いた高次元設定において、一次最適化手法はどのように振る舞うか？
• RQ2 勾配フローの高次元的力学系は、データのサブガウス分布の形に依存せずに普遍的に記述可能か？
• RQ3 最適化軌道の極限的挙動は、その平均と分散の進化としてどのように記述できるか？
• RQ4 高次元における連続時間フローから、動的平均場理論（DMFT）の固定点方程式はどのように導かれるか？
• RQ5 高次元極限において、フローがその極限分布に収束する速度はどの程度か？

主な発見

• 一次フローの高次元極限は、データ行列エントリのサブガウス分布の具体的な形に依存せず、非線形SDEの系に従うk次元確率過程に収束する。
• 極限力学系は、ヘッシアンの逆行列とノイズ共分散を含む固定点方程式を満たし、関数空間上の収縮写像の議論により解ける。
• 正則化リスクの強凸性のもとで、フローが極限分布に収束する速度は指数的であり、ある c0 > 0 に対して ∥θt − θ∞∥L2 ≤ Ce−c0t が成り立つ。
• パラメータの極限共分散構造は、信号の事前分布、ノイズ、損失関数のヘッシアンを結びつける固定点方程式で特徴づけられる。
• この枠組みは、一般化線形モデルやランダム特徴付き2層ニューラルネットワークといったモデルに普遍的に適用可能であり、最適化経路の正確な漸近的記述を提供する。
• 導出されたDMFT方程式は、プロキシマル演算子とヘッシアンに基づく更新と等価であり、高次元における最適化力学系と統計的推定を結びつける。