[论文解读] Dash: Semi-Supervised Learning with Dynamic Thresholding

Yi Xu, Lei Shang+6 more|arXiv (Cornell University)|Sep 1, 2021

Machine Learning and Data Classification被引用 52

一句话总结

Dash 引入了一种动态阈值机制，在半监督学习训练过程中选择未标记数据，通过在每次迭代中自适应使用哪批伪标签样本来提升性能，并具备理论收敛保证。

ABSTRACT

While semi-supervised learning (SSL) has received tremendous attentions in many machine learning tasks due to its successful use of unlabeled data, existing SSL algorithms use either all unlabeled examples or the unlabeled examples with a fixed high-confidence prediction during the training progress. However, it is possible that too many correct/wrong pseudo labeled examples are eliminated/selected. In this work we develop a simple yet powerful framework, whose key idea is to select a subset of training examples from the unlabeled data when performing existing SSL methods so that only the unlabeled examples with pseudo labels related to the labeled data will be used to train models. The selection is performed at each updating iteration by only keeping the examples whose losses are smaller than a given threshold that is dynamically adjusted through the iteration. Our proposed approach, Dash, enjoys its adaptivity in terms of unlabeled data selection and its theoretical guarantee. Specifically, we theoretically establish the convergence rate of Dash from the view of non-convex optimization. Finally, we empirically demonstrate the effectiveness of the proposed method in comparison with state-of-the-art over benchmarks.

研究动机与目标

• 推动改进 SSL，避免固定的高置信度阈值从而丢弃有用的未标记数据。
• 提出一个动态阈值框架（Dash），基于递减的损失阈值在每次迭代中选择未标记数据。
• 在非凸设定下提供 Dash 算法的理论收敛保证。
• 在图像分类基准上展示 Dash 相对于最先进的 SSL 方法的实证有效性。

提出的方法

• Dash 在每次更新时通过保留损失低于动态阈值 rho_t 的样本来选择未标记数据子集。
• 阈值 rho_t 设为 rho_t = C * gamma^{-(t-1)} * rho_hat，随迭代而递减。
• 初始预热阶段在有标签数据上训练以估计 rho_hat；随后的选择阶段使用来自 FixMatch 的伪标签对未标记数据进行选择。
• 随机梯度仅使用未标记样本中其无监督损失 f_u(w; xi^u) <= rho_t 的样本，与有标签数据的损失一起计算。
• Dash 可以与现有的 SSL 流水线（如 FixMatch）集成，并在标准假设（PL 条件）下提供非渐近收敛保证。
• 理论结果建立样本复杂度和收敛速度，在非凸假设下达到与监督型 SGD 类似的速率。

实验结果

研究问题

• RQ1 我们能否设计一个在未标记数据来自混合分布时也能具备证明性收敛的 SSL 算法？
• RQ2 通过递减损失阈值动态选择未标记数据是否比固定阈值方法（如 FixMatch）提升 SSL 性能？
• RQ3 应如何构造并估计动态阈值，以在包含正确伪标签和排除错误伪标签之间取得平衡？
• RQ4 此类动态阈值 SSL 方法的理论收敛保证和样本复杂度是多少？

主要发现

• Dash 在非凸设置下实现了所提动态阈值 SSL 的非渐近收敛保证。
• 实验证据表明，Dash 在标准图像分类基准（CIFAR-10、CIFAR-100、SVHN、STL-10）及不同标签方案上优于若干最先进的 SSL 方法。
• 与 FixMatch 等固定阈值方法相比，Dash 在训练早期保留更多正确的伪标签未标记样本，在后期更积极地减少错误样本。
• 理论结果表明 Dash 的收敛性高概率成立，并给出具体的样本复杂度界为 O(1/epsilon)。
• 使用不同增强策略（CTA, RA）的实验表明 Dash 与基于 FixMatch 的流水线兼容且具有竞争性的提升。