[论文解读] Catastrophic Fisher Explosion: Early Phase Fisher Matrix Impacts Generalization

Stanisław Jastrzȩbski, Devansh Arpit+7 more|arXiv (Cornell University)|Dec 28, 2020

Neural Networks and Applications被引用 13

一句话总结

本文识别出一种名为'灾难性Fisher爆炸'的现象——即在小学习率下进行早期训练时，Fisher信息矩阵（FIM）的迹迅速增加，且与泛化性能差强列相关。研究发现，SGD从训练开始就隐式地对FIM迹进行正则化，而显式地惩罚FIM迹可改善泛化性能，通过减缓对噪声标签的学习速度，从而减少记忆化现象。

ABSTRACT

The early phase of training a deep neural network has a dramatic effect on the local curvature of the loss function. For instance, using a small learning rate does not guarantee stable optimization because the optimization trajectory has a tendency to steer towards regions of the loss surface with increasing local curvature. We ask whether this tendency is connected to the widely observed phenomenon that the choice of the learning rate strongly influences generalization. We first show that stochastic gradient descent (SGD) implicitly penalizes the trace of the Fisher Information Matrix (FIM), a measure of the local curvature, from the start of training. We argue it is an implicit regularizer in SGD by showing that explicitly penalizing the trace of the FIM can significantly improve generalization. We highlight that poor final generalization coincides with the trace of the FIM attaining a large value early in training, to which we refer as catastrophic Fisher explosion. Finally, to gain insight into the regularization effect of penalizing the trace of the FIM, we show that it limits memorization by reducing the learning speed of examples with noisy labels more than that of the examples with clean labels.

研究动机与目标

• 探究早期优化动态（尤其是局部曲率）是否会影响深度神经网络的最终泛化性能。
• 考察随机梯度下降（SGD）在训练初期对Fisher信息矩阵（FIM）迹的隐式正则化作用。
• 确定显式正则化FIM迹是否能恢复因次优学习率导致的泛化性能下降。
• 分析FIM正则化对干净标签与噪声标签学习速度的影响，尤其关注记忆化现象。

提出的方法

• 作者在多个数据集和网络架构上，计算了早期训练阶段（第2至第7个周期）的Fisher信息矩阵（FIM）迹。
• 采用不同学习率和批量大小的随机梯度下降（SGD），观察FIM迹的演化过程及其与最终测试准确率的相关性。
• 引入一种'Fisher惩罚'——对FIM迹施加显式L2正则化，以评估其对泛化性能和记忆化的影响。
• 比较不同学习率下的训练动态，发现高早期FIM迹可预测泛化性能差。
• 通过引入噪声标签的实验，测试FIM正则化是否能减缓对错误标注样本的学习速度。
• 使用多种模型（Wide ResNet、VGG-11、SimpleCNN）和数据集（TinyImageNet、CIFAR-10、CIFAR-100）在不同设置下验证研究结果。

实验结果

研究问题

• RQ1 Fisher信息矩阵（FIM）迹的早期演化是否与深度神经网络的最终泛化性能相关？
• RQ2 显式正则化FIM迹是否能恢复因次优学习率导致的泛化性能下降？
• RQ3 为何惩罚FIM迹能改善泛化性能，尤其是在存在噪声标签的情况下？
• RQ4 SGD对FIM迹的隐式正则化是否解释了大学习率带来的泛化优势？
• RQ5 高早期FIM迹是否表明优化过程倾向于尖锐极小值并增加记忆化倾向？

主要发现

• 使用小学习率训练会导致早期训练阶段FIM迹急剧上升，且与最终泛化性能差强列相关，该现象被称为'灾难性Fisher爆炸'。
• 在ImageNet、CIFAR-10和CIFAR-100上，不同学习率和批量大小下，早期（第2至第7个周期）计算的FIM迹可有效预测最终测试准确率。
• 显式惩罚FIM迹能显著改善泛化性能，即使在使用最优学习率时亦然，且可恢复因小学习率导致的性能下降。
• Fisher惩罚使模型对噪声标签的学习速度比对干净标签更慢，表明其通过减缓错误样本的拟合过程，减轻了记忆化现象。
• FIM迹在SGD中起到隐式正则化作用，高早期FIM迹会引导优化过程趋向尖锐极小值，而低早期FIM迹则促进平坦极小值。
• 本研究提供了实证与理论证据，表明FIM正则化可增强SGD对噪声数据记忆化的隐式抑制机制，从而实现更优的泛化性能。