[论文解读] Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning.

Young‐Taek Oh, Dong-Jin Kim+1 more|arXiv (Cornell University)|Jun 10, 2021

Domain Adaptation and Few-Shot Learning参考文献 60被引用 8

一句话总结

本文提出了一种分布感知语义导向（DASO）伪标签方法，用于处理类别不平衡的半监督学习，该方法根据当前的分布偏差，自适应地融合基于相似度的分类器生成的语义伪标签与传统线性分类器的伪标签。该方法减少了多数类中的误报，并在CIFAR10/100-LT、STL10-LT和Semi-Aves基准上提升了性能，通过抑制类别不平衡和分布不匹配下的伪标签偏差。

ABSTRACT

The capability of the traditional semi-supervised learning (SSL) methods is far from real-world application since they do not consider (1) class imbalance and (2) class distribution mismatch between labeled and unlabeled data. This paper addresses such a relatively under-explored problem, imbalanced semi-supervised learning, where heavily biased pseudo-labels can harm the model performance. Interestingly, we find that the semantic pseudo-labels from a similarity-based classifier in feature space and the traditional pseudo-labels from the linear classifier show the complementary property. To this end, we propose a general pseudo-labeling framework to address the bias motivated by this observation. The key idea is to class-adaptively blend the semantic pseudo-label to the linear one, depending on the current pseudo-label distribution. Thereby, the increased semantic pseudo-label component suppresses the false positives in the majority classes and vice versa. We term the novel pseudo-labeling framework for imbalanced SSL as Distribution-Aware Semantics-Oriented (DASO) Pseudo-label. Extensive evaluation on CIFAR10/100-LT and STL10-LT shows that DASO consistently outperforms both recently proposed re-balancing methods for label and pseudo-label. Moreover, we demonstrate that typical SSL algorithms can effectively benefit from unlabeled data with DASO, especially when (1) class imbalance and (2) class distribution mismatch exist and even on recent real-world Semi-Aves benchmark.

研究动机与目标

• 解决传统半监督学习在现实场景中的局限性，其中类别不平衡以及标注数据与未标注数据之间的分布不匹配会降低模型性能。
• 识别出在类别不平衡条件下，语义伪标签与线性伪标签在处理偏差方面具有互补特性。
• 提出一种可泛化的框架，根据当前分布动态融合这两种伪标签，以减少多数类中的误报。
• 提升在长尾数据分布和分布偏移条件下的半监督学习模型鲁棒性与准确性。
• 在多个基准上验证DASO的有效性，包括CIFAR10/100-LT、STL10-LT和近期的Semi-Aves数据集。

提出的方法

• 在特征空间中引入基于相似度的分类器，以生成更具鲁棒性的语义伪标签，能够更好地应对分布偏移和类别不平衡。
• 使用线性分类器生成标准伪标签，其在高密度区域更具置信度，但在长尾设置下容易出错。
• 设计一种基于类别的自适应融合机制，根据伪标签的当前分布调整语义伪标签与线性伪标签的贡献度。
• 采用动态加权策略，在多数类中可能出现误报时增加语义伪标签的权重，反之亦然。
• 使用融合后的伪标签端到端训练模型，从而在类别不平衡条件下实现更好的泛化能力。
• 将DASO无缝集成到标准SSL算法中，无需架构修改，具有广泛的适用性。

实验结果

研究问题

• RQ1 语义伪标签与线性伪标签的结合在类别不平衡的半监督学习中如何影响性能？
• RQ2 基于分布感知的融合策略能否减少由类别不平衡和分布不匹配引起的伪标签偏差？
• RQ3 与现有重平衡方法相比，DASO在CIFAR10/100-LT和STL10-LT等长尾基准上的性能提升程度如何？
• RQ4 DASO是否能泛化到真实世界数据集（如Semi-Aves），其中同时存在标签分布和伪标签分布的偏移？
• RQ5 基于当前分布动态调整伪标签组件如何提升模型的鲁棒性？

主要发现

• DASO在CIFAR10/100-LT和STL10-LT基准上，对标签和伪标签的重平衡方法均持续优于近期方法。
• 当类别不平衡明显时，通过增强语义伪标签的影响，该方法显著减少了多数类中的误报。
• 即使在标注数据与未标注数据之间存在严重类别分布偏移时，DASO仍能提升模型准确率。
• 该框架在多种SSL算法上均提升了性能，证明了其广泛的兼容性与有效性。
• 在真实世界Semi-Aves基准上，DASO在长尾和分布偏移条件下有效利用未标注数据，实现了最先进性能。
• 消融实验证实，动态融合机制至关重要，固定融合策略会导致性能下降。