[论文解读] Learning Soft Labels via Meta Learning

Nidhi Vyas, Shreyas Saxena+1 more|arXiv (Cornell University)|Sep 20, 2020

Machine Learning and Data Classification参考文献 27被引用 18

一句话总结

该论文提出了一种元学习框架，将软标签视为可学习参数，在训练过程中动态调整它们以提升泛化能力并纠正噪声标注。通过使用元学习目标联合优化标签和模型参数，该方法在CIFAR100上实现了最先进性能（ResNet18准确率提升2.1%），并在噪声数据设置下优于现有方法。

ABSTRACT

One-hot labels do not represent soft decision boundaries among concepts, and hence, models trained on them are prone to overfitting. Using soft labels as targets provide regularization, but different soft labels might be optimal at different stages of optimization. Also, training with fixed labels in the presence of noisy annotations leads to worse generalization. To address these limitations, we propose a framework, where we treat the labels as learnable parameters, and optimize them along with model parameters. The learned labels continuously adapt themselves to the model's state, thereby providing dynamic regularization. When applied to the task of supervised image-classification, our method leads to consistent gains across different datasets and architectures. For instance, dynamically learned labels improve ResNet18 by 2.1% on CIFAR100. When applied to dataset containing noisy labels, the learned labels correct the annotation mistakes, and improves over state-of-the-art by a significant margin. Finally, we show that learned labels capture semantic relationship between classes, and thereby improve teacher models for the downstream task of distillation.

研究动机与目标

• 解决固定one-hot标签导致的硬决策边界和泛化能力差的局限性。
• 通过在训练过程中实现软标签的动态适应，克服静态软标签（如标签平滑）的次优正则化问题。
• 在无需人工干预的情况下纠正数据集中的噪声标注，提升真实世界数据设置下的鲁棒性。
• 通过学习语义感知的软标签来改进知识蒸馏，从而提升教师模型性能。
• 开发一个统一框架，通过端到端优化标签和模型参数，在干净数据和噪声数据场景下均表现高效。

提出的方法

• 将类别级和实例级标签视为可微分参数，通过梯度下降与模型权重联合优化。
• 使用元学习目标：更新标签以最大化在保留验证集上的模型性能，确保与模型状态对齐。
• 对于类别级标签，应用实例特定的平滑参数 αᵏᵗ，按类别调整软标签分布，其中目标类别 pᵢ,ₖᵗ = 1−αᵧᵢᵗ，其余类别为 αᵧᵢᵗ/(c−1)。
• 对于实例级标签，使用相同的元优化策略为每个数据点学习唯一的软标签，实现实例特定的正则化。
• 通过隐式微分反向传播通过标签优化过程，实现模型和标签参数的端到端训练。
• 利用优化历史以保持标签更新的稳定性，避免交替训练标签与模型时常见的退化解。

实验结果

研究问题

• RQ1 软标签能否在训练过程中实现动态优化，从而在泛化能力上超越静态标签平滑？
• RQ2 元学习框架能否在不依赖启发式方法或辅助模型的情况下，有效纠正噪声数据集中的误标样本？
• RQ3 动态学习的软标签是否能捕捉类别之间的语义关系，从而提升知识蒸馏性能？
• RQ4 在不同噪声水平下，标签与模型参数的联合优化与最先进方法相比，在准确率和鲁棒性方面表现如何？
• RQ5 学习到的软标签能否作为知识蒸馏的直接替代方案，通过将更优的教师信号传递给学生模型来实现？

主要发现

• 与使用one-hot标签的标准训练相比，该方法在CIFAR100上将ResNet18的准确率提升了2.1%。
• 在CIFAR100的40%均匀噪声设置下，该方法使用WRN28-10模型实现了76.9±0.3%的测试准确率，优于MentorNet DD和L2RW等最先进方法。
• 学习到的实例级软标签可纠正噪声数据集中的标注错误，显著提升泛化性能，优于基线方法。
• 通过元学习获得的软标签能捕捉类别间的语义关系，从而在知识蒸馏中实现更优性能。
• 该框架在干净和噪声设置下均优于现有方法，在多种架构和数据集上均保持一致的性能增益。
• 该方法在性能上与知识蒸馏相当，且学习到的软标签可直接迁移至其他模型，无需依赖教师网络。