[论文解读] DASO: Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning

Young‐Taek Oh, Dong-Jin Kim+1 more|arXiv (Cornell University)|Jun 10, 2021

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

该论文提出DASO，一种用于长尾半监督学习的新型伪标签框架，通过根据当前类别分布动态混合线性伪标签与语义伪标签，减少伪标签中的偏差。该方法进一步引入语义对齐损失以改善特征表示，在CIFAR-10/100-LT、STL-10-LT以及包含开放集类别的大规模Semi-Aves等不平衡基准上实现了稳定的性能提升。

ABSTRACT

The capability of the traditional semi-supervised learning (SSL) methods is far from real-world application due to severely biased pseudo-labels caused by (1) class imbalance and (2) class distribution mismatch between labeled and unlabeled data. This paper addresses such a relatively under-explored problem. First, we propose a general pseudo-labeling framework that class-adaptively blends the semantic pseudo-label from a similarity-based classifier to the linear one from the linear classifier, after making the observation that both types of pseudo-labels have complementary properties in terms of bias. We further introduce a novel semantic alignment loss to establish balanced feature representation to reduce the biased predictions from the classifier. We term the whole framework as Distribution-Aware Semantics-Oriented (DASO) Pseudo-label. We conduct extensive experiments in a wide range of imbalanced benchmarks: CIFAR10/100-LT, STL10-LT, and large-scale long-tailed Semi-Aves with open-set class, and demonstrate that, the proposed DASO framework reliably improves SSL learners with unlabeled data especially when both (1) class imbalance and (2) distribution mismatch dominate.

研究动机与目标

• 解决在标签与未标签数据分布不一致的类别不平衡设定下，半监督学习中伪标签偏差的问题。
• 克服现有SSL方法对数据平衡或标签/未标签分布一致的假设限制。
• 开发一种通用框架，基于未标签数据伪标签的实时类别分布，自适应地调整伪标签混合策略，无需事先知晓未标签数据的分布。
• 通过语义对齐损失改善特征表示，该损失鼓励各类原型平衡并提升不同数据视图下的一致性预测。
• 在多种不平衡SSL基准（包括包含类外样本的开放集场景）中实现稳健的性能增益。

提出的方法

• 提出一种基于当前伪标签分布动态调度权重的类别自适应混合策略，结合偏向头部类的线性伪标签与偏向尾部类的语义伪标签。
• 引入语义对齐损失（$\mathcal{L}_{\text{align}}$），将未标签数据的两个增强视图对齐至同一类原型，促进特征空间的平衡性并减少分类器偏差。
• 利用标签数据的EMA平均特征生成平衡原型，作为语义伪标签分类器中基于相似度的参考点。
• 通过即插即用的兼容性，将DASO框架集成至FixMatch和ReMixMatch等现有SSL算法中，显著提升其在长尾设定下的性能。
• 使用停止梯度操作稳定基于原型的分类器训练，确保特征学习的稳定性。
• 在特征空间中引入一致性正则化，以提升泛化能力与鲁棒性，尤其针对少数类和类外样本。

实验结果

研究问题

• RQ1 在长尾数据分布下，动态混合线性与语义伪标签是否能有效减少半监督学习中的偏差？
• RQ2 所提出的语义对齐损失在不平衡SSL设定下如何改善特征表示与分类器泛化能力？
• RQ3 当未标签数据分布与标签数据分布显著不同时（包括开放集场景），DASO的性能提升程度如何？
• RQ4 DASO框架在不同SSL算法与具有不同程度长尾不平衡的基准数据集上是否均能保持性能增益？
• RQ5 DASO是否能在不依赖显式开放集学习组件的前提下，隐式检测并降低对类外样本的低置信度预测？

主要发现

• DASO在多个长尾基准上实现了稳定的性能提升，包括CIFAR-10/100-LT、STL-10-LT以及包含开放集类别的大规模Semi-Aves。
• 在具有100个类别和长尾分布的CIFAR-100-LT上，DASO在强类别不平衡条件下相比FixMatch将top-1准确率提升了4.2%。
• 在包含类外样本的Semi-Aves基准中，DASO将类外样本上的置信预测数量从约8,000降低至约4,000，表明其不确定性估计更优。
• t-SNE可视化显示，DASO增强了尾部类别与头部类别的可分性，与基线FixMatch相比，少数类聚类更远离头部类别聚类。
• 仅语义对齐损失即可改善少数类的聚类效果，但结合自适应混合的完整DASO框架在可分性与性能上表现最佳。
• 消融实验证实，自适应混合机制与语义对齐损失均为DASO成功的关键组件，两者均对偏差减少有显著贡献。