[论文解读] Robust Long-Tailed Learning under Label Noise

Tong Wei, Jiang-Xin Shi+2 more|arXiv (Cornell University)|Aug 26, 2021

Machine Learning and Data Classification参考文献 41被引用 24

一句话总结

本论文提出 RoLT，一个鲁棒框架，用于在带标签噪声的长尾分布学习，使用原型噪声检测器和软伪标签以提高泛化，特别是对尾部类别。

ABSTRACT

Long-tailed learning has attracted much attention recently, with the goal of improving generalisation for tail classes. Most existing works use supervised learning without considering the prevailing noise in the training dataset. To move long-tailed learning towards more realistic scenarios, this work investigates the label noise problem under long-tailed label distribution. We first observe the negative impact of noisy labels on the performance of existing methods, revealing the intrinsic challenges of this problem. As the most commonly used approach to cope with noisy labels in previous literature, we then find that the small-loss trick fails under long-tailed label distribution. The reason is that deep neural networks cannot distinguish correctly-labeled and mislabeled examples on tail classes. To overcome this limitation, we establish a new prototypical noise detection method by designing a distance-based metric that is resistant to label noise. Based on the above findings, we propose a robust framework,~\algo, that realizes noise detection for long-tailed learning, followed by soft pseudo-labeling via both label smoothing and diverse label guessing. Moreover, our framework can naturally leverage semi-supervised learning algorithms to further improve the generalisation. Extensive experiments on benchmark and real-world datasets demonstrate the superiority of our methods over existing baselines. In particular, our method outperforms DivideMix by 3\% in test accuracy. Source code will be released soon.

研究动机与目标

• 在存在标签噪声的情况下推动长尾学习，以反映现实数据条件。
• 证明基于小损失的噪声检测在长尾分布下失效，并提出一种基于几何的替代方案。
• 开发 RoLT，通过原型距离检测器检测嘈杂样本并执行软伪标签。
• 利用半监督学习思想，使用干净和嘈杂子集进一步提高泛化。
• 在基准数据集和真实世界数据集上展示鲁棒性和优于基线的方法。

提出的方法

• 将每个类别的原型计算为嵌入的归一化平均值，以捕捉类别几何关系。
• 使用两组件高斯混合模型对原型距离进行建模，以在与类别无关的方式分离干净和嘈杂的数据。
• 使用检测到的干净样本子集来 refinement 原型以提升噪声检测。
• 通过结合 ERM 和 NCM 分类器的预测以及原始标签，结合标签平滑与时序集成，为嘈杂样本生成软伪标签。
• 使用对干净数据的联合损失和对软标签嘈杂数据的损失进行训练，在 RoLT 内实现半监督风格的学习。

实验结果

研究问题

• RQ1 在长尾类别分布下，是否可以使用与类别无关的原型距离检测器稳健地分离干净数据和嘈杂数据？
• RQ2 通过融合 ERM、NCM 预测和标签平滑的软伪标签是否能在带噪尾部数据上提升学习？
• RQ3 在基准数据集和真实世界带噪数据集上，RoLT 相对于标准长尾方法和现有的带噪标签方法的表现如何？
• RQ4 RoLT 是否可以通过半监督学习技术扩展以进一步提升泛化？

主要发现

• RoLT 在 CIFAR-10/100 上在不同的不平衡比和噪声水平下显著优于 ERM 及若干长尾基线。
• RoLT–DRW 与 RoLT+ 随着噪声增加而获得更大收益，凸显出有效的噪声检测与鲁棒学习。
• 基于 NCM 的预测比 ERM 提供了更均衡的尾部类别召回，支持所提出的原型噪声检测策略。
• 通过标签平滑和多样化标签猜测实现的软标签，相较单独使用带噪标签或 ERM 预测，提升了性能。
• 在 WebVision 上，RoLT+ 相较于最先进的带噪标签和长尾方法，取得具竞争力的 top-1/top-5 准确率。