[论文解读] MutexMatch: Semi-Supervised Learning with Mutex-Based Consistency Regularization

Yue Duan, Zhen Zhao+5 more|arXiv (Cornell University)|Mar 27, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

MutexMatch 提出了一种新颖的弱监督学习框架，通过训练一个真实负样本分类器（TNC）来预测‘它不是什么’，从而利用低置信度的未标记样本，对互补伪标签施加一致性正则化。该方法减少了伪标签错误，提升了表征学习效果，在仅使用20个标记样本的情况下，CIFAR-10上的准确率达到92.23%。

ABSTRACT

The core issue in semi-supervised learning (SSL) lies in how to effectively leverage unlabeled data, whereas most existing methods tend to put a great emphasis on the utilization of high-confidence samples yet seldom fully explore the usage of low-confidence samples. In this paper, we aim to utilize low-confidence samples in a novel way with our proposed mutex-based consistency regularization, namely MutexMatch. Specifically, the high-confidence samples are required to exactly predict "what it is" by conventional True-Positive Classifier, while the low-confidence samples are employed to achieve a simpler goal -- to predict with ease "what it is not" by True-Negative Classifier. In this sense, we not only mitigate the pseudo-labeling errors but also make full use of the low-confidence unlabeled data by consistency of dissimilarity degree. MutexMatch achieves superior performance on multiple benchmark datasets, i.e., CIFAR-10, CIFAR-100, SVHN, STL-10, mini-ImageNet and Tiny-ImageNet. More importantly, our method further shows superiority when the amount of labeled data is scarce, e.g., 92.23% accuracy with only 20 labeled data on CIFAR-10. Our code and model weights have been released at https://github.com/NJUyued/MutexMatch4SSL.

研究动机与目标

• 解决弱监督学习中低置信度未标记样本被低估的问题，这些样本常因错误风险过高而被丢弃。
• 克服现有方法仅关注高置信度伪标签的局限性，避免未标记数据的浪费。
• 提出一种新范式，通过学习其与其他类别之间的差异性，将低置信度样本视为信息丰富来源。
• 通过在相同样本的不同增强视图之间强制差异性预测的一致性，提升模型的泛化能力和鲁棒性。
• 通过充分利用所有未标记数据（包括低置信度样本），在低样本设置下实现更优性能，尤其在低样本量场景下表现突出。

提出的方法

• 引入两个分类器：用于预测‘它是什么’的真实正样本分类器（TPC）和用于预测‘它不是什么’的真实负样本分类器（TNC）。
• 使用弱增强视图生成TPC的硬伪标签，通过反转TPC输出并进行归一化，生成TNC的软互补伪标签。
• 通过最小化弱增强和强增强视图下TNC预测之间的交叉熵，对TNC施加一致性正则化。
• 在应用软标签一致性正则化前，先使用硬互补标签单独训练TNC，以提升其鲁棒性。
• 将监督损失、TPC伪标签损失和TNC一致性损失整合为统一的训练目标。
• 使用RandAugment进行强数据增强，并应用置信度阈值τ将样本划分为高置信度和低置信度两类。

实验结果

研究问题

• RQ1 能否在不引入显著错误的前提下，有效利用低置信度未标记样本进行弱监督学习？
• RQ2 在差异性程度（即‘它不是什么’）上施加一致性是否能改善低置信度样本的表征学习？
• RQ3 单独训练的真实负样本分类器（TNC）是否能通过降低假阴性概率，提升TPC预测的可靠性？
• RQ4 在低标签设置下，所提出的基于互锁的一致性正则化与标准一致性正则化相比，在准确率和鲁棒性方面表现如何？
• RQ5 在TNC一致性正则化中使用软互补伪标签是否能带来比硬标签更好的泛化性能？

主要发现

• 在40个标记样本下，MutexMatch在CIFAR-10上达到93.22%的准确率，优于消融实验变体和基线方法FixMatch。
• 仅使用20个标记样本时，MutexMatch在CIFAR-10上达到92.23%的准确率，展现出在低样本量弱监督学习中的强大性能。
• 消融研究显示，使用硬标签进行TNC预训练、软标签进行一致性正则化时性能最佳（即Rev-Norm设置）。
• 对TNC施加一致性正则化可降低TPC预测中的假阴性概率，从而提高正确类别的真实阳性概率。
• 模型表现出更高的鲁棒性和更优的表征质量，体现在所有类别中对真实标签成分的平均置信度更高。
• 该方法通过利用差异性一致性的特性，有效挖掘了低置信度样本的信息，减少了对高置信度伪标签的依赖。