[论文解读] RealMix: Towards Realistic Semi-Supervised Deep Learning Algorithms

Varun Nair, Javier Alonso+1 more|arXiv (Cornell University)|Dec 18, 2019

Advanced Neural Network Applications参考文献 15被引用 12

一句话总结

RealMix 提出了一种新颖的半监督学习算法，通过结合 MixUp、一致性训练、熵最小化以及分布外（OOD）掩码机制，在标注数据与未标注数据分布存在差异时显著提升性能。该方法在仅使用 250 个 CIFAR10 标注样本的情况下，实现了 9.79% 的最先进错误率，并且是唯一在标注与未标注数据分布完全不匹配时仍能保持或超越监督基线性能的 SSL 方法。

ABSTRACT

Semi-Supervised Learning (SSL) algorithms have shown great potential in training regimes when access to labeled data is scarce but access to unlabeled data is plentiful. However, our experiments illustrate several shortcomings that prior SSL algorithms suffer from. In particular, poor performance when unlabeled and labeled data distributions differ. To address these observations, we develop RealMix, which achieves state-of-the-art results on standard benchmark datasets across different labeled and unlabeled set sizes while overcoming the aforementioned challenges. Notably, RealMix achieves an error rate of 9.79% on CIFAR10 with 250 labels and is the only SSL method tested able to surpass baseline performance when there is significant mismatch in the labeled and unlabeled data distributions. RealMix demonstrates how SSL can be used in real world situations with limited access to both data and compute and guides further research in SSL with practical applicability in mind.

研究动机与目标

• 解决现有 SSL 方法在标注数据与未标注数据分布不一致时性能显著下降的关键局限性。
• 开发一种适用于现实世界场景的实用 SSL 算法，适用于标注数据有限且未标注数据存在噪声与分布不匹配的情况。
• 将成功的 SSL 技术——MixUp、一致性训练、熵最小化——统一到一个稳健的框架中。
• 证明 SSL 可超越迁移学习，并在极端分布偏移下依然保持有效性。
• 提供开源代码，以加速真实场景下 SSL 应用的未来研究。

提出的方法

• RealMix 使用具有可学习参数 θ 的深度神经网络，联合优化监督损失与无监督损失。
• 对每个未标注样本应用随机数据增强（Extend(x)），通过 CutOut 方法生成 50 个增强副本以提升多样性。
• 在训练过程中，采用 Beta 分布（α）进行 MixUp，将标注样本与增强后的未标注样本线性插值。
• 通过第二个增强函数（Augment(x)）实现一致性训练，以确保模型对输入扰动具有鲁棒性。
• 引入一种新颖的分布外（OOD）掩码机制，利用阈值 γ 动态过滤低置信度预测，从而减少分布不匹配的未标注数据带来的噪声。
• 对监督损失应用训练信号退火（TSA），以随训练轮次逐渐增强其影响。

实验结果

研究问题

• RQ1 当未标注数据分布与标注数据分布显著不同时，半监督学习方法是否仍能保持性能？
• RQ2 结合 MixUp、一致性训练与熵最小化是否能提升真实数据场景下的鲁棒性与泛化能力？
• RQ3 在有限标注数据下，RealMix 是否能在分布偏移条件下超越迁移学习，尤其是在微调时？
• RQ4 RealMix 中哪些组件在分布偏移下对性能最为关键？
• RQ5 迁移学习是否与 RealMix 互补？二者结合是否能进一步降低错误率？

主要发现

• RealMix 在仅使用 250 个标注样本的 CIFAR10 上实现了 9.79% 的最先进错误率，显著优于以往的 SSL 方法。
• 它是唯一在标注与未标注数据之间存在 75% 分布差异时仍能保持或超越监督基线（20.32% 错误率）的 SSL 方法。
• 当与在 ImageNet（ILSVRC-2012）上预训练的迁移学习结合时，RealMix 在 250 个 CIFAR10 标注样本下的错误率降低至 8.48%，创下新的最先进记录。
• 消融实验表明 OOD 掩码至关重要——若无此机制，分布偏移下的错误率升至 22.70%，而启用后 RealMix 保持性能稳定。
• 使用更强的增强方法（如 CutOut）及每样本 50 个增强副本，相比简单增强或较少副本，能进一步提升性能。
• RealMix 超过 MixMatch 与迁移学习单独使用的效果，并证明在低数据场景下，迁移学习与 SSL 具有互补性。