[论文解读] CoSSL: Co-Learning of Representation and Classifier for Imbalanced Semi-Supervised Learning

Yue Fan, Dengxin Dai+2 more|arXiv (Cornell University)|Dec 8, 2021

Imbalanced Data Classification Techniques被引用 5

一句话总结

CoSSL 提出了一种协同学习框架，通过共享编码器和伪标签生成，将表示学习与分类器学习解耦又相互关联，在类别不平衡的半监督学习中显著提升性能。它引入了尾类特征增强（TFE），利用无标签数据提升尾类泛化能力，在 CIFAR-10、CIFAR-100、ImageNet 和 Food-101 上于多种分布偏移的测试条件下均取得最先进结果。

ABSTRACT

In this paper, we propose a novel co-learning framework (CoSSL) with decoupled representation learning and classifier learning for imbalanced SSL. To handle the data imbalance, we devise Tail-class Feature Enhancement (TFE) for classifier learning. Furthermore, the current evaluation protocol for imbalanced SSL focuses only on balanced test sets, which has limited practicality in real-world scenarios. Therefore, we further conduct a comprehensive evaluation under various shifted test distributions. In experiments, we show that our approach outperforms other methods over a large range of shifted distributions, achieving state-of-the-art performance on benchmark datasets ranging from CIFAR-10, CIFAR-100, ImageNet, to Food-101. Our code will be made publicly available.

研究动机与目标

• 解决在类别不平衡数据分布下标准半监督学习（SSL）因数据不平衡而失效的问题。
• 开发一种框架，有效利用长尾设置下的有标签和无标签数据，而无需依赖人工重平衡。
• 提出一种新的评估协议，测试模型在分布偏移的测试分布下的鲁棒性，反映真实世界部署场景。
• 设计一种方法，利用无标签数据作为数据增强来源，提升尾类分类器的学习能力。

提出的方法

• CoSSL 将表示学习与分类器学习解耦，分别训练两者且不交换梯度，同时通过共享编码器和伪标签生成实现连接。
• 该框架使用共享编码器将表示学习的特征传递至分类器训练，提升特征质量与泛化能力。
• 由鲁棒分类器生成的伪标签用于监督表示学习，通过迭代优化实现自我提升。
• 尾类特征增强（TFE）引入类别相关的混合概率，提升分类器训练期间低频类别的数据多样性。
• TFE 将融合因子 λ 在 μ 和 1 之间均匀采样，相比 Beta 分布变体性能更优，且避免标签混合以保持预测置信度。
• 该方法将强基线 SSL 方法（如 FixMatch）与 TFE 整合进协同学习循环，实现表示与分类器之间的相互提升。

实验结果

研究问题

• RQ1 一种将表示学习与分类器学习解耦的协同学习框架，是否仍能在类别不平衡的半监督学习中实现强性能？
• RQ2 在长尾设置下，如何有效利用无标签数据以提升尾类分类器的鲁棒性？
• RQ3 在分布偏移的测试分布上评估模型，是否能揭示标准均匀测试协议所未捕捉的局限性？
• RQ4 在类别不平衡的 SSL 中，特征混合的设计选择（如混合概率、融合策略、标签混合）中，哪项对性能影响最大？
• RQ5 该框架是否能在多种基准数据集上，在高比例与极端类别不平衡比下，均超越现有最先进方法？

主要发现

• CoSSL 在 CIFAR-10、CIFAR-100、ImageNet 和 Food-101 上于多种分布偏移的测试分布下均取得最先进性能，尤其在高不平衡比例下表现优异。
• 协同学习框架优于端到端联合训练与两阶段训练，当表示学习通过分类器学习的梯度进行更新时，准确率下降 3.78%。
• 与无类别相关混合概率的变体相比，TFE 提升性能 2.34%，证明其对尾类泛化的重要性。
• 在 TFE 中避免标签混合导致性能下降 7.00%，证实保持预测置信度对鲁棒分类器学习至关重要。
• 该方法在已知和未知的分布偏移测试分布上均保持强性能，揭示了在极端不同分布下泛化能力的局限性。
• 即使采用 CoSSL，当测试分布与训练分布相距甚远时，性能仍显著下降，表明仍需进一步提升鲁棒性。