[论文解读] Escaping Saddle Points for Effective Generalization on Class-Imbalanced Data

Harsh Rangwani, Sumukh K Aithal+2 more|arXiv (Cornell University)|Dec 28, 2022

Imbalanced Data Classification Techniques被引用 9

一句话总结

该论文指出，尽管采用了重加权技术，但在类别不平衡数据上训练的深度神经网络在少数类上的损失曲面仍会收敛到鞍点。通过应用Sharpness-Aware Minimization（SAM）方法，该方法增强了负曲率方向上的梯度，从而有效逃离这些鞍点，提升了泛化性能，在少数类上相比Vector Scaling Loss实现了6.2%的准确率提升，且在所有数据集上平均提升了4%。

ABSTRACT

Real-world datasets exhibit imbalances of varying types and degrees. Several techniques based on re-weighting and margin adjustment of loss are often used to enhance the performance of neural networks, particularly on minority classes. In this work, we analyze the class-imbalanced learning problem by examining the loss landscape of neural networks trained with re-weighting and margin-based techniques. Specifically, we examine the spectral density of Hessian of class-wise loss, through which we observe that the network weights converge to a saddle point in the loss landscapes of minority classes. Following this observation, we also find that optimization methods designed to escape from saddle points can be effectively used to improve generalization on minority classes. We further theoretically and empirically demonstrate that Sharpness-Aware Minimization (SAM), a recent technique that encourages convergence to a flat minima, can be effectively used to escape saddle points for minority classes. Using SAM results in a 6.2\% increase in accuracy on the minority classes over the state-of-the-art Vector Scaling Loss, leading to an overall average increase of 4\% across imbalanced datasets. The code is available at: https://github.com/val-iisc/Saddle-LongTail.

研究动机与目标

• 探究为何重加权和基于边缘的方法在长尾数据集的少数类上仍无法实现良好泛化。
• 利用类别级Hessian特征值密度分析，研究在不平衡数据上训练的神经网络的损失曲面。
• 识别损失曲面中的鞍点作为少数类泛化性能差的关键原因。
• 评估旨在逃离鞍点的优化方法是否能提升不平衡数据上的性能。
• 展示Sharpness-Aware Minimization（SAM）在逃离鞍点并提升少数类泛化性能方面的有效性。

提出的方法

• 提出类别级Hessian分析，以检查每个类别的损失曲面曲率，揭示少数类区域存在负曲率。
• 利用Hessian的谱密度检测权重空间中少数类区域的鞍点（大负曲率）。
• 通过在权重邻域内进行优化，应用Sharpness-Aware Minimization（SAM），以鼓励平坦极小值并增强逃离鞍点的能力。
• 将SAM与重加权技术（如Deferred Re-Weighting, DRW）和Vector Scaling（VS）Loss结合，以提升不平衡数据的训练效果。
• 采用两阶段训练策略：先使用标准交叉熵进行初始训练，随后应用延迟重加权以稳定优化过程。
• 提出一种改进的SAM更新规则，通过在扰动权重处计算重加权损失的梯度，提升在少数类区域鞍点处的鲁棒性。

实验结果

研究问题

• RQ1 为何尽管重加权和基于边缘的方法旨在缓解类别不平衡，其在少数类上的性能仍表现不佳？
• RQ2 在不平衡数据上训练的深度网络在少数类上的最终解是否收敛到损失曲面的鞍点或极小值？
• RQ3 旨在逃离鞍点的优化方法是否能提升长尾学习中少数类的泛化性能？
• RQ4 SAM是否能有效增强少数类区域负曲率方向上的梯度分量？
• RQ5 SAM能否与现有重加权技术结合，在不平衡基准上实现最先进性能？

主要发现

• 类别级Hessian分析显示，少数类收敛到高负曲率区域——表明存在鞍点，而头部类收敛到极小值。
• 即使采用重加权，训练于不平衡数据的模型在少数类上仍会收敛到鞍点，解释了其泛化性能差的原因。
• SAM显著增强了负曲率方向上的梯度分量，使模型能有效逃离少数类区域的鞍点。
• 在CIFAR-100 LT数据集上，SAM结合Vector Scaling Loss使少数类准确率相比最先进基线VS-Loss提升了6.2%。
• 在ImageNet-LT和iNaturalist-18数据集上，SAM与重加权方法结合在所有类别上实现了平均4%的准确率提升。
• 该方法在多个基准和损失函数（包括LDAM、IB-Loss和PaCo）上均表现出良好泛化能力，展现出广泛的适用性。