[论文解读] Generalized Data Weighting via Class-level Gradient Manipulation

Can Chen, Shuhao Zheng+5 more|arXiv (Cornell University)|Oct 29, 2021

Machine Learning and Data Classification参考文献 51被引用 5

一句话总结

本文提出了一种名为广义数据加权（Generalized Data Weighting, GDW）的新方法，通过在类别级别重新加权梯度，同时解决深度学习中的标签噪声和类别不平衡问题。通过使用链式法则展开梯度，并施加零均值约束的类别特定权重，GDW 提升了模型的鲁棒性和性能——在 CIFAR10 数据集上，面对 60% 的均匀噪声时，准确率相比最先进方法高出 2.56%，且额外计算成本与标准训练相当。

ABSTRACT

Label noise and class imbalance are two major issues coexisting in real-world datasets. To alleviate the two issues, state-of-the-art methods reweight each instance by leveraging a small amount of clean and unbiased data. Yet, these methods overlook class-level information within each instance, which can be further utilized to improve performance. To this end, in this paper, we propose Generalized Data Weighting (GDW) to simultaneously mitigate label noise and class imbalance by manipulating gradients at the class level. To be specific, GDW unrolls the loss gradient to class-level gradients by the chain rule and reweights the flow of each gradient separately. In this way, GDW achieves remarkable performance improvement on both issues. Aside from the performance gain, GDW efficiently obtains class-level weights without introducing any extra computational cost compared with instance weighting methods. Specifically, GDW performs a gradient descent step on class-level weights, which only relies on intermediate gradients. Extensive experiments in various settings verify the effectiveness of GDW. For example, GDW outperforms state-of-the-art methods by $2.56\%$ under the $60\%$ uniform noise setting in CIFAR10. Our code is available at https://github.com/GGchen1997/GDW-NIPS2021.

研究动机与目标

• 解决现有实例级别加权方法无法利用梯度中类别级别信息的局限性。
• 提升真实世界数据集中共现标签噪声与类别不平衡情况下的模型鲁棒性。
• 开发一种高效、可扩展的方法，用于学习类别级别的数据权重，且不引入额外计算开销。
• 通过选择性地降低有害梯度流的影响，同时保留有用信息（如“非该类别”信号），实现更优的信息利用。
• 通过将类别级别粒度嵌入梯度操作框架，推广现有实例级别加权方法。

提出的方法

• GDW 利用链式法则将损失梯度展开为类别级别的梯度，实现对每个类别的梯度流进行独立调控。
• 为每个样本的每个类别引入类别级别权重，通过带零均值约束的双层优化框架进行优化，以确保稳定性。
• 采用两阶段权重生成方案，利用中间梯度通过梯度下降步骤高效更新类别级别权重。
• 类别级别权重在元学习设置中端到端学习，外层循环优化模型参数，内层循环优化类别级别权重。
• 该方法计算高效，无需标准训练之外的额外前向传播，因为类别级别权重可直接从中间梯度推导得出。
• GDW 推广了实例级别加权方法，后者可视为所有样本类别级别权重相等的特例。

实验结果

研究问题

• RQ1 类别级别梯度调控是否能提升在同时存在标签噪声与类别不平衡数据集上的模型性能？
• RQ2 与实例级别加权相比，按类别分离梯度加权是否能带来更好的信息利用率？
• RQ3 类别级别权重能否在不引入显著计算开销的前提下高效学习？
• RQ4 在多种噪声与不平衡设置下，GDW 与最先进实例级别加权方法在准确率与鲁棒性方面相比如何？
• RQ5 类别级别加权对长尾分布中少数类性能有何影响？

主要发现

• 在 CIFAR10 数据集上，面对 60% 的均匀噪声，GDW 相比最先进方法实现了 2.56% 的准确率提升，展现出对标签噪声的强大鲁棒性。
• 在 Clothing1M 数据集上，GDW 达到 69.39% 的测试准确率，优于次优方法 MWNet 的 0.93%。
• 在长尾 CIFAR10（μ=0.1）中，GDW 通过降低少数类 C9 实例的“非 C8”梯度流权重，有效平衡了“是类别”与“非类别”信息，从而提升了少数类性能。
• 通过在类别级别权重上施加零均值约束，该方法保持了训练的稳定性，防止发散并改善收敛性。
• GDW 的两阶段权重生成方案仅利用中间梯度高效计算类别级别权重，额外 FLOPs 与标准训练持平。
• 尽管在信息利用方面具有理论优势，GDW 在所有类别不平衡场景中并未显著优于基线方法，表明性能提升取决于梯度重加权之外的多种相互关联因素。