[論文レビュー] Phase Transitions for Feature Learning in Neural Networks

Andrea Montanari, Zihao Wang|arXiv (Cornell University)|Feb 1, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は高次元における2層ネットワークの勾配降下ダイナミクスを分析し、特徴学習を支配するヘッセ行列のスペクトル相転移を特定する。これにより、難しい潜在方向の特徴を学習するかどうかを決定する computable な閾値 δNN を提供する。

ABSTRACT

According to a popular viewpoint, neural networks learn from data by first identifying low-dimensional representations, and subsequently fitting the best model in this space. Recent works provide a formalization of this phenomenon when learning multi-index models. In this setting, we are given $n$ i.i.d. pairs $({\boldsymbol x}_i,y_i)$, where the covariate vectors ${\boldsymbol x}_i\in\mathbb{R}^d$ are isotropic, and responses $y_i$ only depend on ${\boldsymbol x}_i$ through a $k$-dimensional projection ${\boldsymbol Θ}_*^{\sf T}{\boldsymbol x}_i$. Feature learning amounts to learning the latent space spanned by ${\boldsymbol Θ}_*$. In this context, we study the gradient descent dynamics of two-layer neural networks under the proportional asymptotics $n,d o\infty$, $n/d oδ$, while the dimension of the latent space $k$ and the number of hidden neurons $m$ are kept fixed. Earlier work establishes that feature learning via polynomial-time algorithms is possible if $δ> δ_{ ext{alg}}$, for $δ_{ ext{alg}}$ a threshold depending on the data distribution, and is impossible (within a certain class of algorithms) below $δ_{ ext{alg}}$. Here we derive an analogous threshold $δ_{ ext{NN}}$ for two-layer networks. Our characterization of $δ_{ ext{NN}}$ opens the way to study the dependence of learning dynamics on the network architecture and training algorithm. The threshold $δ_{ ext{NN}}$ is determined by the following scenario. Training first visits points for which the gradient of the empirical risk is large and learns the directions spanned by these gradients. Then the gradient becomes smaller and the dynamics becomes dominated by negative directions of the Hessian. The threshold $δ_{ ext{NN}}$ corresponds to a phase transition in the spectrum of the Hessian in this second phase.

研究の動機と目的

• 多指模型における比例的漸近法の下で、勾配降下が低次元の潜在構造をどのように学習するかを説明する。
• GD 中のヘッセ行列のスペクトル相転移を特徴づけ、難しい潜在方向の学習を可能にする。
• 2層ネットワークにおける特徴学習を分ける可算な閾値 δNN を提供する。
• 理論を grokking などの現象および活性化関数、損失関数、初期化、ネットワーク幅の依存と結びつける。

提案手法

• 固定読出しを持つ2層ニューラルネットワークをモデル化し、最初の層の重みのみを全バッチ勾配降下で訓練する。
• n, d → ∞ の比例漸近法を用い、n/d → δ かつ潜在次元 k とネットワーク幅 m を固定する。
• 潜在空間を easy 部空間 UE と hard 部空間 UH に分解する。
• 勾配降下経路に沿う経験的リスクのヘッセ行列を解析し、アウトライヤー固有値のレゾルベントベースの記述を導出する。
• δ が computable な δNN(t) を越えると、ヘッセ行列に hard 部空間 UH に整列した負のアウトライアー固有値が現れ、特徴学習を示唆する。
• m = 1 と m ≫ 1 のケースの両方について、ブロック構造のヘッセ行列近似を用いた結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 標準的な2層ニューラルネットワークは、アルゴリズム閾値を超えて hard 潜在方向を弱くまたは強く学習するのか、アーキテクチャと訓練設定にどう依存するのか。
• RQ2 勾配降下が損失地形をどう横切って hard directions を学習するのか、その機構はヘッセ行列のスペクトル相転移として捉えられるのか。
• RQ3 特徴学習を支配する閾値 δNN をどのように定量化し、それがデータ、活性化、損失、初期化、幅とどう関連するのか。
• RQ4 学習ダイナミクスと grokking 現象は、難方向に整列した負のヘッセ eigenvalue の出現によって説明できるのか。
• RQ5 狭いネットワーク(m = 1) と広いネットワーク(m ≫ 1) で、ヘッセスペクトルと学習閾値はどう異なるのか。

主な発見

• 難しい方向は O(1) 回の勾配ステップでは学習されない；任意の固定 t に対して Θ(t) は hard 部空間 UH に直交したままである。
• 勾配経路に沿ったヘッセ行列はスペクトル相転移を示す：δNN を越えるとUH に整列した負のアウトライヤー固有値が現れ、特徴学習を可能にする。
• 全体の特徴学習閾値は δNN = min_j δ∗_j であり、ヘッセブロックのアウトライヤーの出現によって決まり、δ∗_j は損失、活性化、初期化、学習の詳細に依存する。
• UE は δ に関係なく O(1) イテレーションで学習可能だが、難しい方向は有意な固有ベクトルを出現させるには十分なサンプル（δ > δNN）が必要。
• grokk-ing 行動は δ > δNN の場合に出現し、δ が δNN に近づくとスペクトルギャップが縮小するため一般化誤差の低減時間が長くなる。
• 対象関数、損失、活性化、幅、初期化が特徴学習閾値に与える影響を厳密かつ明示的に研究する枠組みを提供する。
• GeLU および位相回復設定での数値実験は、予測された δNN と grokking との関係を裏付ける。