[論文レビュー] The Malignant Tail: Spectral Segregation of Label Noise in Over-Parameterized Networks

Zice Wang|arXiv (Cornell University)|Mar 2, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は、過剰パラメータ化されたネットワークにおいてラベルノイズが memorized されるスペクトル機構（Malignant Tail）を明らかにし、訓練後の明示的なスペクトルトランケーションが最適な一般化を回復できることを示します。

ABSTRACT

While implicit regularization facilitates benign overfitting in low-noise regimes, recent theoretical work predicts a sharp phase transition to harmful overfitting as the noise-to-signal ratio increases. We experimentally isolate the geometric mechanism of this transition: the Malignant Tail, a failure mode where networks functionally segregate signal and noise, reducing coherent semantic features into low-rank subspaces while pushing stochastic label noise into high-frequency orthogonal components, distinct from systematic or corruption-aligned noise. Through a Spectral Linear Probe of training dynamics, we demonstrate that Stochastic Gradient Descent (SGD) fails to suppress this noise, instead implicitly biasing it toward high-frequency orthogonal subspaces, effectively preserving signal-noise separability. We show that this geometric separation is distinct from simple variance reduction in untrained models. In trained networks, SGD actively segregates noise, allowing post-hoc Explicit Spectral Truncation (d << D) to surgically prune the noise-dominated subspace. This approach recovers the optimal generalization capability latent in the converged model. Unlike unstable temporal early stopping, Geometric Truncation provides a stable post-hoc intervention. Our findings suggest that under label noise, excess spectral capacity is not harmless redundancy but a latent structural liability that allows for noise memorization, necessitating explicit rank constraints to filter stochastic corruptions for robust generalization.

研究の動機と目的

• ラベルノイズ下の良性過適合から有害過適合への移行を動機付け、特徴づける。
• 学習表現における信号とノイズの幾何学的構造を特定する。
• 最適な一般化を回復するための後処理スペクトルトランケーション手法を提案する。
• ノイズのある領域で、明示的なランク制約が早期停止を上回る可能性を示す。

提案手法

• 信号部分空間 S を次元 k*、ノイズ部分空間 S⊥ を区別するスピード covariance フレームワークで学習表現をモデル化する。
• スペクトルエントロピーを用いて表現次元性を定量化する有効ランクを定義する。
• Subspace の次元 d に対する一般化を評価するためにスペクトル線形プローブを使用する。
• intrinsic rank–risk の凸性結果を導出し、d ≈ k* で一意の最適を示す。
• SGD がノイズを抑制するのではなく tail に分離することを実証する。
• ResNet や他のアーキテクチャを用いた経験的スペクトルプローブで、データセットおよびノイズ設定を横断してアプローチを検証する。

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズ下での良性から悪性の過適合への移行の基盤となる幾何学的構造は何か。
• RQ2 ラベルノイズを標準的な暗黙正則化では排除できない tail にスペクトル的に分離できるか。
• RQ3 一般化を最大化する最適なサブスペース次元 d は存在するか、そして後処理スペクトルトランケーションはそれを回復できるか。
• RQ4 ノイズのある領域で、明示的なスペクトルトランケーションは早期停止を上回る頑健な正則化になるか。
• RQ5 Malignant Tail 現象はアーキテクチャと最適化アルゴリズムを超えて普遍的か。

主な発見

• サブスペースランク d の関数として一般化誤差の凸状の谷が存在し、最小値は d ≈ k* の近傍で信号とノイズを分離する。
• SGD は無相関なラベルノイズを直交する高分散の tail に積極的に分離し、信号多様体をほぼ損なわずに留める。
• 明示的なスペクトルトランケーション（d ≈ k* に制限すること）は、完全収束したモデルの一般化を回復または上回る可能性があり、安定した後処理介入を提供する。
• より広いネットワークは Malignant Tail を拡大し、ラベルノイズ下で一般化を悪化させうる、wide が常に良いという考えに対する挑戦となる。
• この現象は複数のアーキテクチャ（ResNet、VGG、WideResNet、ViT）と最適化手法で観測され、アーキテクチャに依存しない広い機構を示唆する。