[论文解读] Imbalanced Semi-supervised Learning with Bias Adaptive Classifier

Renzhen Wang, Xixi Jia+3 more|arXiv (Cornell University)|Jul 28, 2022

Imbalanced Data Classification Techniques被引用 4

一句话总结

该论文提出了一种用于类别不平衡半监督学习的偏差自适应分类器，通过双层优化框架将无偏标签预测与偏差吸收解耦。通过将轻量级残差型偏差吸引器与线性分类器结合，该方法缓解了少数类别的性能下降问题——在最不平衡的类别上，召回率相比FixMatch最高提升了60%。

ABSTRACT

Pseudo-labeling has proven to be a promising semi-supervised learning (SSL) paradigm. Existing pseudo-labeling methods commonly assume that the class distributions of training data are balanced. However, such an assumption is far from realistic scenarios and thus severely limits the performance of current pseudo-labeling methods under the context of class-imbalance. To alleviate this problem, we design a bias adaptive classifier that targets the imbalanced SSL setups. The core idea is to automatically assimilate the training bias caused by class imbalance via the bias adaptive classifier, which is composed of a novel bias attractor and the original linear classifier. The bias attractor is designed as a light-weight residual network and optimized through a bi-level learning framework. Such a learning strategy enables the bias adaptive classifier to fit imbalanced training data, while the linear classifier can provide unbiased label prediction for each class. We conduct extensive experiments under various imbalanced semi-supervised setups, and the results demonstrate that our method can be applied to different pseudo-labeling models and is superior to current state-of-the-art methods.

研究动机与目标

• 解决在类别分布不平衡时，现有伪标签方法在半监督学习中的性能下降问题。
• 克服训练过程中由有偏伪标签加剧类别不平衡的问题。
• 开发一种与模型无关的框架，使线性分类器在保持表征学习能力的同时，免受训练偏差影响。
• 通过一种新颖的双层优化策略学习无偏分类器，实现在类别不平衡设置下有效利用未标记数据。

提出的方法

• 提出一种偏差自适应分类器，由用于无偏预测的线性分类器和用于吸收训练偏差的偏差吸引器组成。
• 将偏差吸引器设计为轻量级残差网络，以在不过拟合的情况下建模复杂的数据偏差。
• 采用双层学习框架：下层优化包含标记和未标记数据的完整网络；上层使用重新采样的、类别平衡的标记数据子集来调整偏差吸引器。
• 将线性分类器的优化与有偏数据分布解耦，使其在所有类别上均具有同等的泛化能力。
• 在上层目标中使用在线类别平衡采样，以确保线性分类器在训练过程中保持无偏。
• 将所提出的分类器无缝集成到现有伪标签框架（如FixMatch）中，无需架构修改，确保方法的与模型无关性。

实验结果

研究问题

• RQ1 标记数据中的类别不平衡在多大程度上影响现有伪标签方法在半监督学习中的性能？
• RQ2 能否训练出一种分类器，使其在学习来自类别不平衡且带有噪声伪标签的数据时仍保持无偏？
• RQ3 双层优化框架是否能有效实现类别不平衡SSL中偏差吸收与无偏预测的解耦？
• RQ4 轻量级偏差吸引器在多大程度上能提升半监督学习中少数类的泛化能力？
• RQ5 在标记数据和未标记数据均存在不同程度类别不平衡的情况下，所提方法与最先进方法相比表现如何？

主要发现

• 在CIFAR-10数据集上，当类别不平衡比为100时，所提出的L2AC框架相比FixMatch将少数类召回率提高了约60%。
• 使用L2AC训练的线性分类器，其预测类别分布与在完整标记数据上训练的上界模型高度接近，表明其具备强大的无偏泛化能力。
• t-SNE可视化结果表明，L2AC生成的表征更具判别性，尤其对尾部类别（常被基线模型误分类）表现更优。
• 消融实验表明，双层训练策略至关重要——即使保留偏差吸引器，若移除该策略，性能也会显著下降。
• 该方法在多个数据集和不平衡比率下均表现出一致的性能提升，包括标记数据稀少而未标记数据平衡的反向不平衡设置。
• 仅使用偏差吸引器时增益有限，但与双层优化结合后可实现显著性能提升，证明了分层训练策略的重要性。