[论文解读] Fisher SAM: Information Geometry and Sharpness Aware Minimisation

Minyoung Kim, Da Li+2 more|arXiv (Cornell University)|Jun 10, 2022

Optical measurement and interference techniques被引用 7

一句话总结

本文提出 Fisher SAM，一种新颖的锐度感知最小化方法，用由 Fisher 信息矩阵导出的椭球邻域替代 SAM 中的欧几里得邻域，实现更精确、更具几何感知的优化。该方法在图像分类、过拟合和标签噪声任务中提升了泛化能力和鲁棒性，同时保持了与标准 SGD 相当的计算效率。

ABSTRACT

Recent sharpness-aware minimisation (SAM) is known to find flat minima which is beneficial for better generalisation with improved robustness. SAM essentially modifies the loss function by reporting the maximum loss value within the small neighborhood around the current iterate. However, it uses the Euclidean ball to define the neighborhood, which can be inaccurate since loss functions for neural networks are typically defined over probability distributions (e.g., class predictive probabilities), rendering the parameter space non Euclidean. In this paper we consider the information geometry of the model parameter space when defining the neighborhood, namely replacing SAM's Euclidean balls with ellipsoids induced by the Fisher information. Our approach, dubbed Fisher SAM, defines more accurate neighborhood structures that conform to the intrinsic metric of the underlying statistical manifold. For instance, SAM may probe the worst-case loss value at either a too nearby or inappropriately distant point due to the ignorance of the parameter space geometry, which is avoided by our Fisher SAM. Another recent Adaptive SAM approach stretches/shrinks the Euclidean ball in accordance with the scale of the parameter magnitudes. This might be dangerous, potentially destroying the neighborhood structure. We demonstrate improved performance of the proposed Fisher SAM on several benchmark datasets/tasks.

研究动机与目标

• 解决锐度感知最小化（SAM）在使用忽略神经网络参数空间内在非欧几里得几何的欧几里得邻域时的局限性。
• 通过使用由 Fisher 信息矩阵诱导的椭球体替代 SAM 的球形邻域，改进泛化能力和鲁棒性，更准确地反映统计流形结构。
• 开发一种计算高效的 SAM 变体，在保持双 SGD 成本的同时，通过 Fisher 矩阵梯度幅值近似引入信息几何。
• 在 PAC-Bayes 框架中，使用具有椭球支撑的全协方差高斯先验，推导理论泛化界，将 SAM 的球形先验扩展至全协方差椭球。
• 在多种基准上实证验证 Fisher SAM 在图像分类、标签噪声和对抗性参数扰动任务中优于 SAM 和 ASAM。

提出的方法

• 用由 Fisher 信息度量定义的椭球邻域替代 SAM 的 L2-范数邻域，以捕捉统计流形的内在黎曼几何结构。
• 将鲁棒损失定义为 Fisher 诱导椭球内的最大损失：$ l^{ ext{FSAM}}( heta) = \text{max}_{\theta' \text{ s.t. } (\theta'-\theta)^T I(\theta) (\theta'-\theta) \leq \gamma^2} l(\theta') $，其中 $ I(\theta) $ 为 Fisher 信息矩阵。
• 通过梯度外积（对角近似）近似 Fisher 信息矩阵，仅引入少量额外开销，实现高效计算。
• 引入超参数 $ \eta $ 控制 Fisher 度量对邻域大小的影响，实现椭球的自适应缩放。
• 在 PAC-Bayes 框架中，通过全协方差高斯先验（具有椭球支撑）推导理论泛化界，将 SAM 的球形先延拓至全协方差椭球。
• 通过两步更新实现算法：首先利用 Fisher 度量在损失上进行梯度上升以计算扰动方向，然后沿最坏情况损失的负梯度方向执行标准 SGD 更新。

实验结果

研究问题

• RQ1 基于信息几何的邻域结构是否能超越欧几里得邻域，在锐度感知最小化中进一步提升泛化性能？
• RQ2 将欧几里得球替换为 Fisher 诱导的椭球后，对参数扰动和标签噪声的鲁棒性有何影响？
• RQ3 将 Fisher 信息矩阵引入 SAM 的计算成本如何？是否能通过近似实现高效计算而不损失性能？
• RQ4 SAM 的理论泛化界是否可扩展至 PAC-Bayes 框架中更具表达力的椭球先验？
• RQ5 Fisher SAM 的性能对超参数 $ \gamma $（邻域大小）和 $ \eta $（Fisher 影响缩放）的敏感性如何？

主要发现

• 在 CIFAR-100 上使用 WRN-28-10 时，Fisher SAM 达到 SOTA 测试准确率，在所有标签噪声水平（20–80%）下均优于 SAM 和 ASAM，展现出更优的鲁棒性。
• 在 CIFAR-10 上使用 ResNet-34 时，Fisher SAM 对对抗性参数扰动的鲁棒性最高，在强扰动（$ \alpha = 5.0 $）下仍保持高于 SAM 和 SGD 的准确率。
• 在 CIFAR-10 上 20% 标签噪声下，Fisher SAM 达到测试准确率 $ \boldsymbol{93.03 \pm 0.11} $，与 SAM 性能相当，但显著优于 ASAM 和 SGD。
• 超参数敏感性分析表明，Fisher SAM 对 $ \gamma $ 和 $ \eta $ 的取值具有鲁棒性，最优性能在 $ \gamma \in [0.1, 0.5] $ 和 $ \eta \in [0.01, 1.0] $ 范围内实现。
• Fisher SAM 的计算开销可忽略不计：在 CIFAR-10 上使用 WRN-28-10 时，每批次训练时间 SAM 为 0.2322 秒，FSAM 为 0.2334 秒，表明效率近乎相同。
• 理论分析证实，Fisher SAM 在 PAC-Bayes 框架中通过将先验集从球形扩展为椭球形，实现了比 SAM 更优的泛化能力，提供了更紧致的泛化界。