[论文解读] Debiased Learning from Naturally Imbalanced Pseudo-Labels

Xudong Wang, Zhirong Wu+2 more|arXiv (Cornell University)|Jan 5, 2022

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

该论文提出DebiasPL，一种新颖的去偏学习方法，可解决由模型预测引起的伪标签中固有的自然不平衡问题，即使源数据和目标数据类别平衡，该方法仍能有效应对。通过结合反事实推理以消除分类器响应偏差，并采用自适应边缘损失以调整伪标签的不平衡，该方法实现了最先进性能：在仅使用0.2%标签的ImageNet-1K半监督学习中实现26%的准确率提升，在零样本学习中实现9%的提升，优于现有方法，且无需了解真实分类边缘信息。

ABSTRACT

Pseudo-labels are confident predictions made on unlabeled target data by a classifier trained on labeled source data. They are widely used for adapting a model to unlabeled data, e.g., in a semi-supervised learning setting. Our key insight is that pseudo-labels are naturally imbalanced due to intrinsic data similarity, even when a model is trained on balanced source data and evaluated on balanced target data. If we address this previously unknown imbalanced classification problem arising from pseudo-labels instead of ground-truth training labels, we could remove model biases towards false majorities created by pseudo-labels. We propose a novel and effective debiased learning method with pseudo-labels, based on counterfactual reasoning and adaptive margins: The former removes the classifier response bias, whereas the latter adjusts the margin of each class according to the imbalance of pseudo-labels. Validated by extensive experimentation, our simple debiased learning delivers significant accuracy gains over the state-of-the-art on ImageNet-1K: 26% for semi-supervised learning with 0.2% annotations and 9% for zero-shot learning. Our code is available at: https://github.com/frank-xwang/debiased-pseudo-labeling.

研究动机与目标

• 探究并识别尽管源自平衡数据，伪标签仍因模型预测偏差而固有地不平衡。
• 解决半监督和零样本学习中此前被忽视的伪标签偏差源，即伪标签导致虚假多数类现象。
• 开发一种无需事先知晓真实分类边缘信息的去偏方法，而此类信息在标准去偏方法中通常是必需的。
• 通过纠正伪标签不平衡，提升模型在平衡与长尾数据设置下的泛化能力与鲁棒性。

提出的方法

• 该方法引入一个自适应去偏模块，利用反事实推理通过估计在假设平衡标签分布下模型输出应为何种形式，来消除分类器响应偏差。
• 采用自适应边缘损失，根据观察到的伪标签不平衡情况，动态调整每个类别的边缘，减少对头部类的过拟合。
• 该框架设计为可插拔模块，兼容现有伪标签化流水线，如FixMatch和基于CLIP的零样本学习。
• 无需访问真实标签或真实分类边缘信息，使其适用于低资源和零样本场景。
• 该方法通过标准交叉熵损失端到端训练，去偏与边缘自适应组件被整合进训练目标。
• 通过消融实验调节超参数，如去偏强度λ和置信度阈值τ，以在去偏校正与模型拟合之间取得平衡。

实验结果

研究问题

• RQ1 为何由SOTA模型（如CLIP和FixMatch）生成的伪标签即使在源数据与目标数据平衡的情况下，仍表现出显著的类别不平衡？
• RQ2 我们能否在不依赖真实标签分布或真实分类边缘信息的前提下，纠正伪标签中的偏差？
• RQ3 对伪标签进行去偏处理如何影响半监督与零样本学习基准的性能？
• RQ4 所提出的去偏方法是否普遍适用于不同伪标签化框架与数据分布？
• RQ5 在长尾与不平衡数据设置下，去偏强度与模型泛化能力之间的最优权衡是什么？

主要发现

• DebiasPL在仅使用0.2%标签的ImageNet-1K半监督学习中实现了26%的准确率提升，显著优于先前最先进方法。
• 在零样本学习中，该方法使用基于CLIP的伪标签化方法，相比现有方法实现9%的性能提升。
• 消融研究证实，反事实去偏模块与自适应边缘损失均不可或缺，完整方法在长尾CIFAR10-LT数据集上比消融变体高出7%以上。
• 最优去偏强度λ为0.5，优于默认值1.0，表明去偏校正与模型拟合之间存在非单调权衡。
• 使用高置信度阈值（τ = 0.95）过滤CLIP预测会加剧不平衡，但同时提升精度；DebiasPL有效缓解此权衡，在ImageNet-1K零样本学习中实现67.7%的top-1准确率。
• 该方法对领域偏移具有鲁棒性，并在多种基准（包括EuroSAT、MNIST、DTD、GTSRB和Flowers102）上表现出良好泛化能力，证实其作为可插拔模块的普适性。