[论文解读] Low-Pass Filtering SGD for Recovering Flat Optima in the Deep Learning Optimization Landscape

Devansh Bisla, Jing Wang+1 more|arXiv (Cornell University)|Jan 20, 2022

Neural Networks and Applications被引用 4

一句话总结

本文提出 LPF-SGD，一种新型优化算法，通过损失曲面的低通滤波来引导随机梯度下降向更平坦的极小值点收敛，从而实现更好的泛化性能。通过使用高斯核对损失进行卷积平滑，并优化滤波后的梯度，LPF-SGD 在泛化性能上优于 SGD 和 SAM 等最先进方法，且具备理论收敛保证，可实现更低的泛化误差。

ABSTRACT

In this paper, we study the sharpness of a deep learning (DL) loss landscape around local minima in order to reveal systematic mechanisms underlying the generalization abilities of DL models. Our analysis is performed across varying network and optimizer hyper-parameters, and involves a rich family of different sharpness measures. We compare these measures and show that the low-pass filter-based measure exhibits the highest correlation with the generalization abilities of DL models, has high robustness to both data and label noise, and furthermore can track the double descent behavior for neural networks. We next derive the optimization algorithm, relying on the low-pass filter (LPF), that actively searches the flat regions in the DL optimization landscape using SGD-like procedure. The update of the proposed algorithm, that we call LPF-SGD, is determined by the gradient of the convolution of the filter kernel with the loss function and can be efficiently computed using MC sampling. We empirically show that our algorithm achieves superior generalization performance compared to the common DL training strategies. On the theoretical front, we prove that LPF-SGD converges to a better optimal point with smaller generalization error than SGD.

研究动机与目标

• 识别与深度学习泛化性能高度相关且最稳健、最具预测性的损失曲面尖锐度度量方法。
• 开发一种优化算法，利用所识别的尖锐度度量主动寻找平坦极小值。
• 提供理论收敛保证，证明 LPF-SGD 实现的泛化误差低于标准 SGD。
• 通过实证验证，证明所提出方法在多种网络架构和超参数设置下，泛化性能优于现有技术，包括 SAM。

提出的方法

• 本文通过将损失函数与高斯核进行卷积，提出一种基于低通滤波（LPF）的尖锐度度量，该方法可平滑局部波动并突出损失曲面中的广阔平坦区域。
• LPF-SGD 算法利用蒙特卡洛采样计算平滑损失函数的梯度，从而实现在高维参数空间中的高效优化。
• 该方法基于假设：通过 LPF 识别出的平坦极小值与更好的泛化性能相关，因此算法在训练过程中主动引导向此类区域。
• 理论分析证明，在光滑性和利普希茨连续性等温和假设下，LPF-SGD 收敛至的解其泛化误差小于标准 SGD。
• 该算法在多种网络架构（含与不含跳跃连接和批量归一化）、不同宽度以及多种优化器超参数（如初始学习率、批量大小、权重衰减、动量）下进行了评估。
• LPF 基于的尖锐度度量与多种现有尖锐度指标进行了实证比较，结果表明其与测试准确率的相关性更高，且对数据和标签噪声更具鲁棒性。

实验结果

研究问题

• RQ1 在多种架构和超参数设置下，哪种尖锐度度量能最准确地预测深度学习模型的泛化性能？
• RQ2 能否利用损失曲面的低通滤波设计一种实用的优化算法以提升泛化性能？
• RQ3 LPF-SGD 是否在泛化性能上优于标准 SGD 和最先进方法（如 SAM）？
• RQ4 在数据和标签噪声下，LPF 基于的尖锐度度量行为如何？其是否能反映测试准确率中的双下降现象？
• RQ5 LPF-SGD 在收敛性和泛化误差方面可建立何种理论保证？

主要发现

• 在所有评估的模型和超参数设置下，LPF 基于的尖锐度度量与泛化性能的相关性最高，优于现有尖锐度度量。
• LPF-SGD 算法在多个基准数据集和网络架构上，测试准确率优于标准 SGD 和最先进方法 SAM。
• LPF 基于的度量对数据和标签噪声具有鲁棒性，并能成功追踪模型容量增加时测试准确率中的双下降行为。
• 理论分析表明，LPF-SGD 收敛至的解其泛化误差界衰减速度优于 SGD，且泛化误差界比值随 $ O(1/T^{ ilde{p}-p}) $ 衰减。
• 当滤波核协方差矩阵的最小特征值足够大（即 $ \sigma_- > \alpha/\beta $）时，增大滤波宽度可降低泛化误差界比值，证实了泛化性能的提升。
• 实证结果表明，LPF-SGD 在各种训练条件下（包括噪声环境）均能稳定地找到损失曲面中更平坦的极小值，而这些极小值与更好的泛化性能密切相关。