[论文解读] Class-Imbalanced Semi-Supervised Learning

Minsung Hyun, Jisoo Jeong+1 more|arXiv (Cornell University)|Feb 17, 2020

Imbalanced Data Classification Techniques参考文献 42被引用 37

一句话总结

定义任务 CISSL（class-imbalanced semi-supervised learning）并提出 Suppressed Consistency Loss (SCL) 来在标记与未标记数据都不平衡时改善 SSL，显示 MT+SCL 常常优于标准 SSL 方法，尤其在不平衡严重且标记数据有限的情况下。

ABSTRACT

Semi-Supervised Learning (SSL) has achieved great success in overcoming the difficulties of labeling and making full use of unlabeled data. However, SSL has a limited assumption that the numbers of samples in different classes are balanced, and many SSL algorithms show lower performance for the datasets with the imbalanced class distribution. In this paper, we introduce a task of class-imbalanced semi-supervised learning (CISSL), which refers to semi-supervised learning with class-imbalanced data. In doing so, we consider class imbalance in both labeled and unlabeled sets. First, we analyze existing SSL methods in imbalanced environments and examine how the class imbalance affects SSL methods. Then we propose Suppressed Consistency Loss (SCL), a regularization method robust to class imbalance. Our method shows better performance than the conventional methods in the CISSL environment. In particular, the more severe the class imbalance and the smaller the size of the labeled data, the better our method performs.

研究动机与目标

• 激励并形式化在标记与未标记数据中都存在不平衡的类别不平衡半监督学习（CISSL）设置。
• 分析现有 SSL 方法在 CISSL 下的表现，并识别由不平衡引起的失败模式。
• 引入 Suppressed Consistency Loss（SCL）以对 CISSL 中的 SSL 进行正则化，并展示在不平衡情形下的鲁棒性。
• 将 CISSL 扩展到目标检测并显示相对于基线 SSL 方法的收益。

提出的方法

• 定义 CISSL 及反映标记与未标记数据分布的平衡与不平衡的标准实验设置。
• 在 CISSL 下使用 toy 数据集分析现有 SSL 方法（Pi 模型、Mean Teacher）的边界行为。
• 提出 Suppressed Consistency Loss（SCL），通过指数形式的 g(Nc) 将 SSL 一致性损失按类别频率的倒数加权。
• 证明 MT+SCL 在 CIFAR-10 和 SVHN 上在各种未标记不平衡类型下对基线的经验改进。
• 将 SCL 扩展到目标检测任务（SSD300/CSD 框架）并显示性能提升。

实验结果

研究问题

• RQ1 当标记和未标记数据都存在类别不平衡时，标准 SSL 方法的表现如何（CISSL）？
• RQ2 为什么 Mean Teacher 通常比 Pi 模型在 CISSL 下更稳健，以及目标更新如何影响这种行为？
• RQ3 引入 Suppressed Consistency Loss 是否能减轻小类的退化并提升整体 CISSL 性能？
• RQ4 SCL 在目标检测等其他任务中的 CISSL 增益是否也存在？

主要发现

• 基于一致性正则化的 SSL 方法在 CISSL 下的小类别性能下降；Mean Teacher 比 Pi 模型更稳健，原因是其保守的 EMA 目标。
• Suppressed Consistency Loss（SCL）通过按类别频率的倒数对一致性损失加权，减轻小类的边界失真，在未标记数据不平衡的情况下提升 CIFAR-10 和 SVHN 的性能。
• MT+SCL 在多种 CISSL 配置下始终达到最佳或接近最佳的结果，尤其是在不平衡和未标记数据不平衡 增加时。
• 在消融研究中，标准的类别不平衡学习损失（IN、Focal、CB）并不在 CISSL 下普遍优于 CE，凸显了针对 CISSL 的正则化的必要性。
• 将 SCL 应用于目标检测（CSD 框架）相对于基线 CSD 方法带来额外收益。