[논문 리뷰] The Malignant Tail: Spectral Segregation of Label Noise in Over-Parameterized Networks

Zice Wang|arXiv (Cornell University)|2026. 03. 02.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

논문은 라벨 노이즈가 과도하게 매개변수화된 네트워크에서 기억되는 스펙트럴 메커니즘(악성 꼬리)을 밝히고, 학습 후 명시적 스펙트럴 트렁케이션이 최적 일반화 recover 가능함을 보여준다.

ABSTRACT

While implicit regularization facilitates benign overfitting in low-noise regimes, recent theoretical work predicts a sharp phase transition to harmful overfitting as the noise-to-signal ratio increases. We experimentally isolate the geometric mechanism of this transition: the Malignant Tail, a failure mode where networks functionally segregate signal and noise, reducing coherent semantic features into low-rank subspaces while pushing stochastic label noise into high-frequency orthogonal components, distinct from systematic or corruption-aligned noise. Through a Spectral Linear Probe of training dynamics, we demonstrate that Stochastic Gradient Descent (SGD) fails to suppress this noise, instead implicitly biasing it toward high-frequency orthogonal subspaces, effectively preserving signal-noise separability. We show that this geometric separation is distinct from simple variance reduction in untrained models. In trained networks, SGD actively segregates noise, allowing post-hoc Explicit Spectral Truncation (d << D) to surgically prune the noise-dominated subspace. This approach recovers the optimal generalization capability latent in the converged model. Unlike unstable temporal early stopping, Geometric Truncation provides a stable post-hoc intervention. Our findings suggest that under label noise, excess spectral capacity is not harmless redundancy but a latent structural liability that allows for noise memorization, necessitating explicit rank constraints to filter stochastic corruptions for robust generalization.

연구 동기 및 목표

• 라벨 노이즈 하에서 양성에서 악성 과적합으로의 전이의 동기 부여 및 특징화.
• 학습 표현에서 신호와 노이즈의 기하학적 구조 식별.
• 사후 스펙트럴 트렁케이션 방법 제안으로 최적 일반화 회복.
• 노이즈가 있는 구간에서 명시적 랭크 제약이 초기 중지보다 일반화 성능을 우수하게 할 수 있다.

제안 방법

• 스파이크된 공분산 프레임워크를 사용하여 학습 표현을 모델링하되, 차원 k*의 신호 하위공간 S와 S⊥ 잡음 하위공간을 구분한다.
• 스펙트럴 엔트로피를 이용해 Effective Rank를 정의하고 표현 차원성을 정량화한다.
• 스펙tral 선형 프로브를 사용하여 하위공간 차원 d에 따른 일반화를 평가한다.
• 내재 랭크-리스크 볼록성 결과를 도출하여 d ≈ k*에서의 고유한 최적점을 제시한다.
• SGD가 잡음을 제거하기보다는 악성 꼬리로 적극적으로 분리한다는 것을 보여준다.
• ResNet 및 다른 아키텍처에서 데이터셋과 노이즈 설정에 걸친 실험적 스펙트럼 프로브로 접근을 검증한다.

실험 결과

연구 질문

• RQ1 라벨 노이즈 하에서 양성에서 악성 과적합으로의 전이에 어떤 기하학적 구조가 근거하는가?
• RQ2 표준 암시적 정규화로는 제거할 수 없는 꼬리로 라벨 노이즈를 스펙트럴하게 구분할 수 있는가?
• RQ3 일반화를 최대화하는 최적의 하위공간 차원 d가 존재하는가, 그리고 사후 스펙트럴 트렁케이션이 이를 회복할 수 있는가?
• RQ4 노이즈 구간에서 강건한 정규화로서 명시적 스펙트럴 트렁케이션이 조기 중지보다 더 우수한가?
• RQ5 Malignant Tail 현상이 구조나 최적화 알고리즘에 관계없이 얼마나 보편적인가?

주요 결과

• 하위공간 순위 d에 따른 일반화 오차에 볼록한 골짜기가 존재하며, 최소는 d ≈ k* 근처에서 신호와 노이즈를 구분한다.
• SGD가 비동조적인 라벨 노이즈를 직교하고 높은 분산의 꼬리로 적극적으로 구분하여 신호 매니폴드를 대체로 손상시키지 않는다.
• 명시적 스펙트럴 트렁케이션(d ≈ k*)은 일반화를 회복하거나 완전히 수렴한 모델의 일반화를 넘어설 수 있어 안정적인 사후 개입을 제공한다.
• 더 넓은 네트워크는 악성 꼬리를 확장하고 라벨 노이즈 하에서 일반화를 악화시킬 수 있어, 더 넓은 것이 항상 더 낫다는 생각에 도전한다.
• 이 현상은 여러 아키텍처(ResNet, VGG, WideResNet, ViT)와 최적화기에 걸쳐 관찰되어 광범위하고 아키텍처에 구애받지 않는 메커니즘임을 시사한다.