[論文レビュー] Deep Exploration of Epoch-wise Double Descent in Noisy Data: Signal Separation, Large Activation, and Benign Overfitting

Tomoki Kubo, Ryuken Uda+1 more|arXiv (Cornell University)|Jan 13, 2026

Generative Adversarial Networks and Image Synthesis被引用数 1

ひとこと要約

この論文は、CIFAR-10で30%のラベルノイズを用い、3つのMLPを用いてエポックごとのダブルディセントを経験的に研究し、良性過適合、クリーン/ノイズ信号の分離、浅い層での大きな活性化の出現を明らかにし、深層ダブルディセント、良性過適合、および大きな活性化の関係を内部信号解析の詳細を通じて結びつけている。

ABSTRACT

Deep double descent is one of the key phenomena underlying the generalization capability of deep learning models. In this study, epoch-wise double descent, which is delayed generalization following overfitting, was empirically investigated by focusing on the evolution of internal structures. Fully connected neural networks of three different sizes were trained on the CIFAR-10 dataset with 30% label noise. By decomposing the loss curves into signal contributions from clean and noisy training data, the epoch-wise evolutions of internal signals were analyzed separately. Three main findings were obtained from this analysis. First, the model achieved strong re-generalization on test data even after perfectly fitting noisy training data during the double descent phase, corresponding to a "benign overfitting" state. Second, noisy data were learned after clean data, and as learning progressed, their corresponding internal activations became increasingly separated in outer layers; this enabled the model to overfit only noisy data. Third, a single, very large activation emerged in the shallow layer across all models; this phenomenon is referred as "outliers," "massive activa-tions," and "super activations" in recent large language models and evolves with re-generalization. The magnitude of large activation correlated with input patterns but not with output patterns. These empirical findings directly link the recent key phenomena of "deep double descent," "benign overfitting," and "large activation", and support the proposal of a novel scenario for understanding deep double descent.

研究の動機と目的

• 訓練中の単純な前向きネットワークにおけるラベルノイズ下でのエポックごとのダブルディセントを調査する。
• クリーンとノイズデータ信号の分離を理解するための内部表現を分析する。
• ノイズの存在下で隠れ層の活性化がどのように進化し一般化に寄与するかを明らかにする。
• 浅い層の大きな活性化と再一般化との関係を探る。
• 観察された現象を良性過適合と信号圧縮ダイナミクスへ結びつける。

提案手法

• Adam最適化器と標準的なハイパーパラメータを用いて、CIFAR-10上で30%のラベルノイズを持つMLP7、MLP5、MLP3を訓練する。
• クリーンデータとノイズデータの両方のラベル評価を含む成分に、訓練損失と精度を分解する。
• 各エポックごとに、隠れ層を横断してクリーンデータとノイズデータの平均活性化のコサイン類似度を計算し、信号分離を定量化する。
• 浅い層での活性化の大きさのエポックごとの進化を追跡し、ダブルディセントの開始時期と関連づける。
• 正しく予測されたサンプルと誤って予測されたサンプルを媒介として、クリーン/ノイズ訓練信号に対するテストデータ信号を分析し、異なる処理経路を推測する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ付きCIFAR-10データでの訓練時に、さまざまなモデルサイズでエポックごとのダブルディセントはどのように現れるか？
• RQ2 内部表現は訓練中にクリーンとノイズデータ信号を分離するか？それは一般化とどう関係するか？
• RQ3 浅い層の大きな活性化は再一般化と良性過適合においてどのような役割を果たすか？
• RQ4 信号分離と大きな活性化は、クリーン入力とノイズ入力のテスト性能とどのように関連するか？

主な発見

• MLP7はテスト損失でエポックごとのダブルディセントを示す一方、MLP5とMLP3はそうではない。
• 訓練が進むにつれて、クリーンデータとノイズデータの内部信号は外側の（より深い）層で分離可能性が高まる。
• ダブルディセントの開始付近に浅い層で大きな活性化が生じ、入力パターンとラベルの両方ではなく入力パターンと相関する傾向があり、再一般化に寄与する。
• クリーンな訓練データとノイズ訓練データの完全適合にも関わらず、モデルはテスト性能が改善する良性過適合状態へ移行する。
• 信号分離は大きなモデルほど強く現れ、ノイズデータを学習しつつ一般化を損なわないことと関連している。
• 正しく予測されたテストデータはクリーン訓練信号と緊密に一致し、誤って予測されたデータはノイズ信号とより一致する傾向があり、異なる処理経路を示唆する。