[论文解读] In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning

Mamshad Nayeem Rizve, Kévin Duarte+2 more|arXiv (Cornell University)|Jan 15, 2021

Text and Document Classification Technologies被引用 242

一句话总结

这篇论文通过引入一个不确定性感知的伪标签选择（UPS）框架来为伪标签学习辩护，该框架降低标签噪声，使多标签学习能够使用负标签，并在 CIFAR-10/100、UCF-101 和 Pascal VOC 上实现强 SSL 性能。

ABSTRACT

The recent research in semi-supervised learning (SSL) is mostly dominated by consistency regularization based methods which achieve strong performance. However, they heavily rely on domain-specific data augmentations, which are not easy to generate for all data modalities. Pseudo-labeling (PL) is a general SSL approach that does not have this constraint but performs relatively poorly in its original formulation. We argue that PL underperforms due to the erroneous high confidence predictions from poorly calibrated models; these predictions generate many incorrect pseudo-labels, leading to noisy training. We propose an uncertainty-aware pseudo-label selection (UPS) framework which improves pseudo labeling accuracy by drastically reducing the amount of noise encountered in the training process. Furthermore, UPS generalizes the pseudo-labeling process, allowing for the creation of negative pseudo-labels; these negative pseudo-labels can be used for multi-label classification as well as negative learning to improve the single-label classification. We achieve strong performance when compared to recent SSL methods on the CIFAR-10 and CIFAR-100 datasets. Also, we demonstrate the versatility of our method on the video dataset UCF-101 and the multi-label dataset Pascal VOC.

研究动机与目标

• 推动伪标签学习作为一种不依赖于特定领域增强的通用 SSL 方法。
• 解决网络标定不足导致的高置信度错误伪标签问题。
• 提出 UPS 以选择低不确定性、高置信度的伪标签，并为多标签学习引入负伪标签。
• 展示在 CIFAR-10/100、UCF-101 和 Pascal VOC 上使用 UPS 的强实证结果。
• 展示跨不确定性估计方法的鲁棒性并讨论对多模态的适用性。

提出的方法

• 用硬阈值（gamma）对网络预测进行伪标签生成以创建 y-tilde 的形式化。
• 引入一个子集选择向量 g，使用置信阈值（tau_p, tau_n）来选择正伪标签/负伪标签。
• 结合不确定性 u(p) 及阈值（kappa_p, kappa_n）以形成不确定性感知的选择（UPS）标准。
• 用带标签数据和所选伪标签子集的组合进行训练，在未选择正标签时使用正交叉熵或负学习，在多标签时使用修改后的 BCE。
• 通过重新生成标签并重新初始化网络来迭代重新训练，以限制错误传播（算法1）。
• 证明 UPS 对模态无关，兼容各种不确定性估计方法（MC-Dropout、SpatialDropout、DropBlock、Data Aug）。

实验结果

研究问题

• RQ1 在引入不确定性感知的伪标签选择后，伪标签学习方法是否能够实现具有竞争力的 SSL 性能？
• RQ2 在伪标签选择中加入不确定性如何影响与标定相关的噪声和泛化？
• RQ3 通过负学习和基于不确定性的选择，UPS 是否能自然扩展到多标签和视频领域？
• RQ4 在多数据集上，UPS 对不确定性估计方法的选择和超参数是否稳健？

主要发现

• 通过使用不确定性感知的选择，UPS 能显著降低伪标签噪声，伪标签准确性高于传统 PL 和基于置信度的 PL。
• 在 CIFAR-10/100 中，UPS 在不同标签规模和骨干网络下，达到与最先进 SSL 方法相竞争或更优的错误率。
• 即使标注数据有限，UPS 在 UCF-101（视频领域）和 Pascal VOC2007（多标签）上也优于基线。
• 消融研究表明，不确定性感知选择和负学习共同显著降低错误，UPS 对超参数具有鲁棒性。
• UPS 兼容多种不确定性估计方法，不依赖领域特定的增强，支持广泛模态的适用性。