[论文解读] Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning

Phi Vu Tran|arXiv (Cornell University)|Jun 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 60被引用 10

一句话总结

本文提出 SESEMI，一种多任务 CNN 框架，通过几何变换预测（旋转和翻转）将自监督正则化整合到监督和半监督图像分类中。通过联合训练有标签数据和无标签数据生成的代理标签，SESEMI 在 SVHN、CIFAR-10 和 CIFAR-100 上实现了最先进性能，且无需额外超参数或预训练，在半监督设置下优于一致性正则化基线，并在无无标签数据时也提升了监督准确率。

ABSTRACT

Recent advances in semi-supervised learning have shown tremendous potential in overcoming a major barrier to the success of modern machine learning algorithms: access to vast amounts of human-labeled training data. Previous algorithms based on consistency regularization can harness the abundance of unlabeled data to produce impressive results on a number of semi-supervised benchmarks, approaching the performance of strong supervised baselines using only a fraction of the available labeled data. In this work, we challenge the long-standing success of consistency regularization by introducing self-supervised regularization as the basis for combining semantic feature representations from unlabeled data. We perform extensive comparative experiments to demonstrate the effectiveness of self-supervised regularization for supervised and semi-supervised image classification on SVHN, CIFAR-10, and CIFAR-100 benchmark datasets. We present two main results: (1) models augmented with self-supervised regularization significantly improve upon traditional supervised classifiers without the need for unlabeled data; (2) together with unlabeled data, our models yield semi-supervised performance competitive with, and in many cases exceeding, prior state-of-the-art consistency baselines. Lastly, our models have the practical utility of being efficiently trained end-to-end and require no additional hyper-parameters to tune for optimal performance beyond the standard set for training neural networks. Reference code and data are available at https://github.com/vuptran/sesemi

研究动机与目标

• 通过将自监督正则化与监督学习相结合，提升低标签数据场景下的泛化能力。
• 通过引入一种更简单、端到端的替代方案，挑战一致性正则化在半监督学习中的主导地位。
• 证明基于几何变换的代理标签比基于重建的自监督方法在下游分类任务中更有效。
• 在无需额外超参数或预训练步骤的情况下，实现最先进性能。
• 为数据稀缺场景下的实际部署提供一种实用、高效且可扩展的方法。

提出的方法

• 该模型采用多任务架构，主分类头预测类别标签，自监督分支预测同一输入图像的几何变换（旋转和翻转）。
• 对于每个输入图像，自监督分支生成六个代理标签：0°、90°、180°、270° 旋转，以及水平和垂直翻转。
• 整体损失函数结合了有标签数据的标准交叉熵损失与无标签数据在自监督变换预测上的交叉熵损失。
• 该方法使用标准优化协议进行端到端训练，除标准训练设置外，无需额外超参数。
• 该方法与现有半监督学习（SSL）框架兼容，可作为 Mean Teacher 或 MixMatch 中一致性头的替代方案集成。
• 自监督任务旨在通过利用图像几何中的不变性，促使模型学习解耦的、语义上有意义的特征。

实验结果

研究问题

• RQ1 通过几何变换的自监督正则化是否能在半监督图像分类中超越传统的一致性正则化？
• RQ2 即使不使用无标签数据，自监督正则化是否也能提升监督学习性能？
• RQ3 在半监督学习中，几何变换预测是否比重建、图像修复或色彩化等代理标签任务更有效？
• RQ4 自监督正则化能否在不增加模型复杂度或超参数调优的情况下，无缝集成到现有 SSL 框架中？
• RQ5 在低数据场景下，尤其当存在干扰特征时，自监督信号与监督信号如何相互作用？

主要发现

• SESEMI 在 SVHN、CIFAR-10 和 CIFAR-100 的监督和半监督设置中均实现了最先进性能，且无需额外超参数。
• 在 CIFAR-10 上，结合旋转和翻转预测使性能相比仅旋转自监督提升了 8.2%，优于重建、图像修复和色彩化任务。
• 即使在无无标签数据时，该模型也显著提升了监督准确率，证明了自监督正则化作为正则化器的价值。
• 在半监督学习中，SESEMI 在多个基准测试中超越了以往的一致性基线，包括仅使用 250 个有标签样本的 CIFAR-100。
• 当模型从显著的、与类别相关的特征中学习时，自监督分支最为有效；然而，在 SVHN 上，由于干扰数字干扰了变换预测，性能有所下降。
• 该方法可端到端训练，且与现有 SSL 框架（如 Mean Teacher 和 MixMatch）兼容，表明其具有集成潜力和进一步提升空间。