[论文解读] On the Importance of Hyperparameters and Data Augmentation for Self-Supervised Learning

Diane R. Wagner, Fábio Furlan Ferreira+4 more|arXiv (Cornell University)|Jul 16, 2022

Machine Learning and Data Classification被引用 6

一句话总结

本文表明，超参数和数据增强对自监督学习（SSL）性能具有决定性影响，尤其是在SimSiam中。通过使用贝叶斯优化，作者在CIFAR-10、CIFAR-100和DermaMNIST上对超参数和增强策略进行调优，显著提升了性能，并提出了一种新型自动化数据增强方法GroupAugment——该方法在分组增强上进行优化，通过调整每组的采样概率、每组的增强数量以及总增强数，实现了在所有数据集上的最先进线性评估准确率，优于基线方法和基于监督学习的现有增强算法。

ABSTRACT

Self-Supervised Learning (SSL) has become a very active area of Deep Learning research where it is heavily used as a pre-training method for classification and other tasks. However, the rapid pace of advancements in this area comes at a price: training pipelines vary significantly across papers, which presents a potentially crucial confounding factor. Here, we show that, indeed, the choice of hyperparameters and data augmentation strategies can have a dramatic impact on performance. To shed light on these neglected factors and help maximize the power of SSL, we hyperparameterize these components and optimize them with Bayesian optimization, showing improvements across multiple datasets for the SimSiam SSL approach. Realizing the importance of data augmentations for SSL, we also introduce a new automated data augmentation algorithm, GroupAugment, which considers groups of augmentations and optimizes the sampling across groups. In contrast to algorithms designed for supervised learning, GroupAugment achieved consistently high linear evaluation accuracy across all datasets we considered. Overall, our results indicate the importance and likely underestimated role of data augmentation for SSL.

研究动机与目标

• 研究超参数和数据增强对自监督学习（SSL）性能的影响。
• 识别在设置错误时最容易引发模型崩溃的超参数，以及对性能最具影响力的超参数。
• 开发一种专为SSL设计的自动化数据增强方法，以解决现有方法（主要针对监督学习设计）的局限性。
• 证明在缺乏人工直觉的情况下，通过优化数据增强策略可显著提升SSL中的线性评估准确率。
• 提供一种系统化的、经过超参数优化的SSL基线，其性能优于标准配置。

提出的方法

• 作者使用带有专家先验的贝叶斯优化，在SimSiam SSL框架中搜索超参数和数据增强策略。
• 他们在学习率、权重衰减、优化器以及包括颜色抖动、高斯模糊和太阳化在内的数据增强超参数上定义了搜索空间。
• GroupAugment被引入为一种新型自动化数据增强算法，其在分组增强上进行优化，包括每组的采样概率、每组的增强数量以及总增强数。
• 该方法通过支持灵活的增强分组方式并避免对增强集合施加约束，推广了现有方法，与SelfAugment不同。
• GroupAugment使用贝叶斯优化在多样化增强策略空间中进行搜索，包括类似于人工设计的SSL策略的组合。
• 作者在相同的计算预算下，将GroupAugment与标准的基于监督学习的增强算法（如RandAugment、TrivialAugment）以及调优后的SimSiam增强策略进行比较。

实验结果

研究问题

• RQ1 超参数和数据增强策略如何影响SimSiam等自监督学习模型的性能？
• RQ2 哪些超参数在设置错误时最容易导致模型崩溃？
• RQ3 为监督学习设计的自动化数据增强方法能否有效迁移到自监督学习中，还是需要不同的策略？
• RQ4 通过自动化搜索优化数据增强策略，是否能在SSL的多种数据集中带来一致的性能提升？
• RQ5 一种考虑分组增强的新颖自动化增强方法，能否在SSL中超越标准和调优后的基线增强策略？

主要发现

• GroupAugment在所有三个数据集上均取得了最高的线性评估准确率：在CIFAR-10上为93.0% ± 0.1，在DermaMNIST上为68.0% ± 0.3，在CIFAR-100上为66.3% ± 0.4，优于基线SimSiam和所有其他增强方法。
• 将标准的基于监督学习的增强算法（如RandAugment）应用于SSL导致大多数数据集性能下降，CIFAR-100准确率降至59.3% ± 0.5。
• 在与GroupAugment相同的计算预算下，对SimSiam增强策略进行调优，使其在CIFAR-10上的准确率提升至92.7% ± 0.1，在CIFAR-100上提升至67.9% ± 0.3，但GroupAugment仍表现更优。
• 本研究证实，数据增强是SSL中一个关键但常被低估的因素，优化策略相比标准或手工设计的策略能带来显著性能提升。
• 对超参数和增强策略进行贝叶斯优化，可在所有数据集中带来一致的性能提升，证明了在SSL中系统化超参数搜索的价值。
• GroupAugment成功发现了类似于人工设计的SSL策略的增强策略，验证了其在不同数据分布上的泛化能力。