[论文解读] Countering Noisy Labels By Learning From Auxiliary Clean Labels

Tsung Wei Tsai, Chongxuan Li+1 more|arXiv (Cornell University)|May 23, 2019

Machine Learning and Data Classification参考文献 59被引用 6

一句话总结

该论文提出RDCR，一种统一框架，通过利用自监督旋转作为辅助干净标签，结合一致性正则化与旋转预测，提升对噪声标签的鲁棒性，从而学习到对噪声具有容忍能力的表征。在高噪声环境下，尤其在干净标签可用性有限时，RDCR显著优于当前最先进方法。

ABSTRACT

We consider the learning from noisy labels (NL) problem which emerges in many real-world applications. In addition to the widely-studied synthetic noise in the NL literature, we also consider the pseudo labels in semi-supervised learning (Semi-SL) as a special case of NL. For both types of noise, we argue that the generalization performance of existing methods is highly coupled with the quality of noisy labels. Therefore, we counter the problem from a novel and unified perspective: learning from the auxiliary clean labels. Specifically, we propose the Rotational-Decoupling Consistency Regularization (RDCR) framework that integrates the consistency-based methods with the self-supervised rotation task to learn noise-tolerant representations. The experiments show that RDCR achieves comparable or superior performance than the state-of-the-art methods under small noise, while outperforms the existing methods significantly when there is large noise.

研究动机与目标

• 为解决深度学习在噪声标签下泛化性能差的问题，特别是在半监督学习和合成噪声设置下。
• 通过自监督学习引入辅助干净标签，克服现有方法对噪声标签质量的依赖。
• 在单一框架下统一处理半监督学习中的合成对称/非对称噪声和伪标签噪声。
• 通过旋转预测提供的辅助监督，解耦噪声标签，提升数据清洗和表征学习效果。
• 证明自监督旋转可作为强正则化器，即使在干净标签极少的情况下也能提升模型鲁棒性。

提出的方法

• 提出旋转解耦一致性正则化（RDCR），一种结合基于一致性训练与自监督旋转预测任务的多任务框架。
• 使用增强输入的旋转角度作为辅助干净标签，以正则化模型并使其与噪声标签解耦。
• 整合一致性正则化，通过鼓励数据增强前后预测的一致性，增强模型鲁棒性。
• 采用组归一化（GN）和权重标准化（WS）以进一步提升训练稳定性和对噪声的容忍度。
• 采用端到端训练方案，联合优化分类、旋转预测和一致性正则化。
• 在仅使用少量真实标签的同时，利用所有输入进行旋转监督，实现在干净标签稀缺时仍能有效学习。

实验结果

研究问题

• RQ1 自监督旋转能否作为可靠来源的辅助干净标签，以提升对噪声标签的鲁棒性？
• RQ2 将旋转预测与一致性正则化结合，如何在高噪声水平下增强泛化能力？
• RQ3 所提出的RDCR框架是否在合成噪声和半监督学习设置下均优于现有方法？
• RQ4 少量干净标签的可用性在多大程度上增强了辅助旋转监督的优势？
• RQ5 通过所有输入（经由旋转）获得的辅助监督，能否降低对观测标签的依赖并改善数据清洗？

主要发现

• 在小噪声水平下，RDCR达到与最先进方法相当或更优的性能，尤其在噪声较高时表现更优。
• 在CIFAR-10上使用4000个标签时，RDCR将测试误差从基线的9.05%降低至7.45%（使用GN+WS），绝对提升2.5%。
• 仅使用1/4的标签时，RDCR性能优于基线使用4000个标签的设置，展现出强大的样本效率。
• 消融实验表明，GN+WS带来最大准确率提升（相比BN提升3.38%），凸显其在噪声容忍中的关键作用。
• RDCR在不同归一化层下均持续提升性能，其中GN+WS带来的增益最大。
• 该方法在高噪声场景下显著降低误差率，例如在CIFAR-100上使用4000个标签时，误差率从33.62%降至30.62%，表明其具有强大鲁棒性。