[논문 리뷰] Deep Exploration of Epoch-wise Double Descent in Noisy Data: Signal Separation, Large Activation, and Benign Overfitting

Tomoki Kubo, Ryuken Uda외 1명|arXiv (Cornell University)|2026. 01. 13.

Generative Adversarial Networks and Image Synthesis인용 수 1

한 줄 요약

논문은 CIFAR-10에서 30% 라벨 노이즈를 사용한 세 개의 MLP로 epoch-단위 이중 하강을 경험적으로 연구하여, 선량한 과적합(benign overfitting), 깨끗한/노이즈 데이터 간 신호 분리, 얕은 층에서의 큰 활성화의 등장을 밝히며, 깊은 이중 하강, 선량한 과적합, 큰 활성화 간의 연계를 자세한 내부 신호 분석을 통해 제시한다.

ABSTRACT

Deep double descent is one of the key phenomena underlying the generalization capability of deep learning models. In this study, epoch-wise double descent, which is delayed generalization following overfitting, was empirically investigated by focusing on the evolution of internal structures. Fully connected neural networks of three different sizes were trained on the CIFAR-10 dataset with 30% label noise. By decomposing the loss curves into signal contributions from clean and noisy training data, the epoch-wise evolutions of internal signals were analyzed separately. Three main findings were obtained from this analysis. First, the model achieved strong re-generalization on test data even after perfectly fitting noisy training data during the double descent phase, corresponding to a "benign overfitting" state. Second, noisy data were learned after clean data, and as learning progressed, their corresponding internal activations became increasingly separated in outer layers; this enabled the model to overfit only noisy data. Third, a single, very large activation emerged in the shallow layer across all models; this phenomenon is referred as "outliers," "massive activa-tions," and "super activations" in recent large language models and evolves with re-generalization. The magnitude of large activation correlated with input patterns but not with output patterns. These empirical findings directly link the recent key phenomena of "deep double descent," "benign overfitting," and "large activation", and support the proposal of a novel scenario for understanding deep double descent.

연구 동기 및 목표

• 단순 피드포워드 네트워크를 학습하는 과정에서 라벨 노이즈 하의 에포크-단위 이중 하강을 조사한다.
• 깨끗한 데이터와 노이즈 데이터 신호 간의 분리를 이해하기 위해 내부 표현을 분석한다.
• 노이즈가 존재하는 상황에서 숨겨진 층의 활성화가 어떻게 진화하고 일반화에 기여하는지 결정한다.
• 얕은 층의 큰 활성화와 재일반화(re-generalization) 간의 관계를 탐구한다.
• 관찰된 현상을 선량한 과적합과 신호 압축 역학과 연결한다.

제안 방법

• Adam 옵티마이저와 표준 하이퍼파라미터를 사용하여 CIFAR-10에서 30% 라벨 노이즈를 가진 MLP7, MLP5, MLP3를 학습한다.
• 학습 손실과 정확도를 깨끗한 데이터와 노이즈 데이터에서 계산된 구성 요소로 분해한다(노이즈 레이블 평가와 깨끗한 레이블 평가를 모두 포함).
• 에포크별로 신호 분리를 정량화하기 위해 숨겨진 층 전체에서 깨끗한 데이터와 노이즈 데이터의 평균 활성화 간 코사인 유사도를 계산한다.
• 얕은 층에서의 큰 활성화를 식별하기 위해 활성화 크기의 에포크별 변화를 추적한다.
• 정확하게 예측된 샘플과 잘못 예측된 샘플에 대해 깨끗한 학습 신호와 노이즈 학습 신호의 관계를 분석하여 테스트 데이터 신호를 해석하고 서로 다른 처리 경로를 추론한다.

실험 결과

연구 질문

• RQ1 다양한 모델 크기에서 노이즈가 있는 CIFAR-10 데이터를 학습할 때 에포크-단위 이중 하강이 어떻게 나타나는가?
• RQ2 학습 중 내부 표현은 깨끗한 데이터 신호와 노이즈 데이터 신호를 분리하는가? 그리고 이것이 일반화와 어떻게 관련되는가?
• RQ3 재일반화 및 선량한 과적합을 위한 얕은 층의 큰 활성화의 역할은 무엇인가?
• RQ4 신호 분리와 큰 활성화가 깨끗한 입력과 노이즈 입력에 대한 테스트 성능과 어떤 관련이 있는가?

주요 결과

• MLP7은 테스트 손실에서 에포크-단위 이중 하강을 보이는 반면, MLP5와 MLP3은 그렇지 않다.
• 깨끗한 데이터와 노이즈 데이터의 내부 신호는 학습이 진행될수록 바깥쪽(깊은) 층에서 점점 더 분리된다.
• 이중 하강 시작 무렵 얕은 층에서 큰 활성화가 나타나고 이는 레이블이 아닌 입력 패턴과 상관되며 재-generalization에 기여한다.
• 깨끗한 트레이닝 데이터와 노이즈 트레이닝 데이터를 완벽히 적합하더라도 모델은 개선된 테스트 성능을 가진 선량한 과적합 상태에 도달한다.
• 신호 분리는 더 큰 모델에서 더 강하고, 일반화를 해치지 않으면서 노이즈 데이터를 성공적으로 학습하는 것과 연관된다.
• 정확하게 예측된 테스트 데이터는 깨끗한 학습 신호와 가까이 정렬되고, 잘못 예측된 데이터는 노이즈 신호와 더 많이 정렬되며, 서로 다른 처리 경로를 시사한다.