[论文解读] ConMatch: Semi-Supervised Learning with Confidence-Guided Consistency Regularization

Jiwon Kim, Youngjo Min+5 more|arXiv (Cornell University)|Aug 18, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

ConMatch 提出了一种基于置信度引导的一致性正则化框架，用于半监督学习，通过使用学习到的置信度度量来加权两个强增强视图之间预测的一致性损失，从而提升性能。通过在模型中集成参数化的置信度估计器并采用分阶段训练策略，ConMatch 在 CIFAR-10、CIFAR-100 和 SVHN 基准上实现了最先进（SOTA）的准确率，且计算开销极低。

ABSTRACT

We present a novel semi-supervised learning framework that intelligently leverages the consistency regularization between the model's predictions from two strongly-augmented views of an image, weighted by a confidence of pseudo-label, dubbed ConMatch. While the latest semi-supervised learning methods use weakly- and strongly-augmented views of an image to define a directional consistency loss, how to define such direction for the consistency regularization between two strongly-augmented views remains unexplored. To account for this, we present novel confidence measures for pseudo-labels from strongly-augmented views by means of weakly-augmented view as an anchor in non-parametric and parametric approaches. Especially, in parametric approach, we present, for the first time, to learn the confidence of pseudo-label within the networks, which is learned with backbone model in an end-to-end manner. In addition, we also present a stage-wise training to boost the convergence of training. When incorporated in existing semi-supervised learners, ConMatch consistently boosts the performance. We conduct experiments to demonstrate the effectiveness of our ConMatch over the latest methods and provide extensive ablation studies. Code has been made publicly available at https://github.com/JiwonCocoder/ConMatch.

研究动机与目标

• 解决半监督学习中两个强增强视图之间缺乏方向性一致性正则化的问题。
• 利用弱增强视图作为锚点，改进对强增强图像的伪标签置信度估计。
• 在神经网络内部引入参数化的置信度学习机制，实现端到端优化。
• 通过分阶段训练策略加速收敛。
• 提供一个即插即用的模块，可在不改变网络架构的前提下提升现有半监督学习方法的性能。

提出的方法

• 提出一种基于置信度引导的一致性正则化方法，根据伪标签置信度对两个强增强视图之间的一致性损失进行加权。
• 提出一种非参数化的置信度度量方法，利用弱增强与强增强特征之间的相似性。
• 引入一个与主干网络端到端联合训练的参数化置信度估计器，用于预测置信度分数。
• 采用分阶段训练方案，逐步增强一致性正则化的强度。
• 采用双分支架构，每个输入包含一个弱增强视图和两个强增强视图。
• 在弱增强视图与一个强增强视图之间，以及两个强增强视图之间应用一致性正则化，并引入置信度加权。

实验结果

研究问题

• RQ1 如何在半监督学习中有效应用两个强增强视图之间的一致性正则化？
• RQ2 能否通过弱增强视图导出的置信度度量来提升强增强视图的伪标签可靠性？
• RQ3 在神经网络内部端到端学习置信度是否能提升泛化能力和收敛性？
• RQ4 分阶段训练策略是否能进一步提升模型性能与训练稳定性？
• RQ5 ConMatch 在标准基准上的准确率与鲁棒性方面，相较于最先进方法表现如何？

主要发现

• ConMatch 在使用 40 个标注样本的情况下，在 CIFAR-10、CIFAR-100 和 SVHN 上均实现了最先进性能，优于 FixMatch 和 FlexMatch。
• ConMatch 中的置信度估计器 AUC-ROC 达到 0.95，高于 FixMatch 和 FlexMatch，表明其在区分高置信与低置信样本方面能力更强。
• 参数化置信度估计器显著提升性能，在 CIFAR-10 上相比非参数基线提升 0.5% 准确率。
• t-SNE 可视化结果表明，ConMatch 的置信度分数能清晰分离高置信与低置信样本，而 FixMatch 和 FlexMatch 对聚类不佳的样本则赋予模糊的置信度。
• 分阶段训练策略加速了收敛，使特征空间中标签样本与弱增强样本的聚类更快形成。
• 消融实验表明，在非参数置信度方法中，特征之间的余弦相似度表现最佳（CIFAR-10 上误差率为 5.02%）。