[论文解读] Simplifying Neural Network Training Under Class Imbalance
论文表明，通过仔细调整标准神经网络训练组件（批量大小、数据增强、优化器、标签平滑）以及轻量化优化技术（联合自监督学习 Joint-SSL、不对称的 SAM-A、定制的标签平滑），在存在不平衡的数据上也能达到与专门的不平衡方法并列的最先进性能。
Real-world datasets are often highly class-imbalanced, which can adversely impact the performance of deep learning models. The majority of research on training neural networks under class imbalance has focused on specialized loss functions, sampling techniques, or two-stage training procedures. Notably, we demonstrate that simply tuning existing components of standard deep learning pipelines, such as the batch size, data augmentation, optimizer, and label smoothing, can achieve state-of-the-art performance without any such specialized class imbalance methods. We also provide key prescriptions and considerations for training under class imbalance, and an understanding of why imbalance methods succeed or fail.
研究动机与目标
- 研究在 minority 类别表现较差的现实数据集中，类别不平衡的研究动机。
- 证明在调参后，标准训练组件可以达到甚至超过专门的不平衡方法。
- 为在视觉与表格领域的类别不平衡下的训练提供实际可操作的建议。
提出的方法
- 在不平衡设置中系统性地调优训练的基本构件（批量大小、数据增强、预训练、模型结构、优化器）。
- 提出并调整用于不平衡的优化技术：联合自监督学习（Joint-SSL，训练时的自监督损失）、不对称的 SAM-A 以扩大少数类边界、以及有针对性的标签平滑。
- 分析正则化与过拟合的作用（包括神经塌陷）以解释调参后的训练流程为何有效。
- 将调优后的流程应用于视觉基准（图像数据集与架构）与表格数据集以评估普适性。
- 在多种不平衡专用方法上进行基准测试，以在结合调优流程时确立最先进的性能。
实验结果
研究问题
- RQ1标准训练组件在视觉和表格领域的不平衡情况下如何影响模型性能？
- RQ2在不平衡设定下，轻量化的自监督、SAM 和标签平滑的改进能否提升少数类别的性能？
- RQ3哪些机制（如正则化、边界变化）能解释为何调参后的流程优于专门的不平衡方法？
- RQ4调优后的流程是否能在超越图像分类的多样数据集与架构上泛化？
- RQ5现实世界的不平衡数据集对这些方法的响应与网络抓取基准相比有何不同？
主要发现
- 在高度不平衡的设置中，批量大小的影响更大，较小的批量往往有利于少数类别的准确性。
- 数据增强在不平衡下的效果被放大，尤其对少数类别有利，策略选择会随不平衡程度而变化。
- 在强不平衡下，较大架构可能对少数类别过拟合，而中等规模的架构往往表现最佳。
- 在训练中整合的自监督损失（Joint-SSL）可以提升表征和在不平衡设定下的泛化能力。
- 对少数类别损失项更强调的改进型 Sharpness-Aware Minimization（SAM-A）提升少数类别的准确性。
- 标签平滑在对少数类别施加更强平滑时，有助于防止对少数样本的过拟合。
- 预训练，尤其是在更大的上游数据集上的自监督预训练，在严重下游不平衡时带来更大收益。
- 将 Joint-SSL、SAM-A 与定制的标签平滑结合在 M2m 之上，在多个视觉基准和真实世界数据集上确立了新的最先进水平。
- 调优后的训练流程在表格数据集上的表现也优于基线，显示了在图像分类之外的适用性。
- 正则化似乎是防止对少数样本过拟合的关键，Naive 训练中神经塌陷更为显著，而提出的方法能够缓解这一现象。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。