[论文解读] InstanT: Semi-supervised Learning with Instance-dependent Thresholds

Muyang Li, Runze Wu+5 more|arXiv (Cornell University)|Oct 29, 2023

Machine Learning and Data Classification被引用 5

一句话总结

InstanT 提出了一种新颖的半监督学习方法，根据样本自身的模糊度和预测误差率，为其分配实例相关的置信度阈值，从而确保正确伪标签分配的概率有界。该方法通过动态调整阈值来减少噪声，同时保持高效率，在基准数据集上实现了最先进性能。

ABSTRACT

Semi-supervised learning (SSL) has been a fundamental challenge in machine learning for decades. The primary family of SSL algorithms, known as pseudo-labeling, involves assigning pseudo-labels to confident unlabeled instances and incorporating them into the training set. Therefore, the selection criteria of confident instances are crucial to the success of SSL. Recently, there has been growing interest in the development of SSL methods that use dynamic or adaptive thresholds. Yet, these methods typically apply the same threshold to all samples, or use class-dependent thresholds for instances belonging to a certain class, while neglecting instance-level information. In this paper, we propose the study of instance-dependent thresholds, which has the highest degree of freedom compared with existing methods. Specifically, we devise a novel instance-dependent threshold function for all unlabeled instances by utilizing their instance-level ambiguity and the instance-dependent error rates of pseudo-labels, so instances that are more likely to have incorrect pseudo-labels will have higher thresholds. Furthermore, we demonstrate that our instance-dependent threshold function provides a bounded probabilistic guarantee for the correctness of the pseudo-labels it assigns.

研究动机与目标

• 为解决伪标签中统一或类别相关阈值的局限性，引入实例级别的自适应机制。
• 对实例相关的标签噪声和预测模糊度进行建模，以指导阈值选择。
• 为分配的伪标签正确性的概率提供理论下界。
• 在提升泛化能力的同时，更好地平衡伪标签样本的数量与质量。

提出的方法

• 该方法定义了一个实例相关的阈值函数，对于预测误差率更高且类别后验模糊度更大的样本，其阈值随之增加。
• 利用在有标签数据上训练的转移矩阵估计器，估计实例级别的标签噪声。
• 阈值函数基于预测的干净类别后验和每个实例的估计误差率推导得出。
• 通过在每次迭代中应用该动态阈值来选择高置信度的伪标签样本，与标准 SSL 训练流程集成。
• 通过避免频繁重训练，保持计算效率，与 FixMatch 和 AdaMatch 相比仅引入了极少的额外开销。
• 理论分析证明，正确伪标签分配的概率存在下界，并且随着训练进行，该概率渐近趋近于 1。

Figure 1: Illustration on the differences between uniform thresholds, class-dependent thresholds, and instance-dependent thresholds in SSL. The black solid lines are the decision boundaries generated by the classifier, and the colored dashed lines are the confidence thresholds, the colored square, t

实验结果

研究问题

• RQ1 与统一或类别相关的阈值相比，实例相关的阈值是否能提升半监督学习中伪标签的可靠性？
• RQ2 在使用实例相关阈值时，伪标签正确性的理论保证是什么？
• RQ3 所提出的方法如何在伪标签样本数量与质量之间实现平衡？
• RQ4 该方法是否在实现优越性能的同时保持了高效率？

主要发现

• 在仅使用 40 个有标签样本的 STL-10 上，InstanT 达到了 85.09% 的 top-1 准确率，优于 AdaMatch（83.50%）和 FixMatch（77.72%）。
• 在使用 400 个有标签样本的 CIFAR-100 上，尽管未利用更多无标签样本，InstanT 在训练后期仍优于 FreeMatch。
• 消融实验表明，仅添加实例相关阈值即可使性能相比 FixMatch 提升 2.2%，证实了其有效性。
• InstanT 在使用比 FreeMatch 更少的噪声样本的同时，保持了较高的伪标签准确率（使用 DA 时为 82.97%，同时使用 DA 和 RT 时为 85.09%）。
• 该方法引入的计算开销可忽略不计，训练时间与 FixMatch 和 AdaMatch 相当。
• 理论保证表明，正确伪标签分配的概率会渐近趋近于 1，提供了可靠性保障。

Figure 2: Overview of InstanT. Left: training process of transition matrix estimator $\hat{f}_{\theta^{{}^{\prime}}}$ . For a labeled instance $\bm{x_{l}}$ , whose label is 2 , the classifier $\hat{f}_{\theta}$ will first generate its noisy class posterior. Then, we want the second row of the transi