[论文解读] Guillotine Regularization: Why removing layers is needed to improve generalization in Self-Supervised Learning

Florian Bordes, Randall Balestriero+3 more|arXiv (Cornell University)|Jun 27, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出了一种名为Guillotine Regularization的技术，通过在训练后移除最终的投影头层，即使SSL目标函数在这些层上被优化，也能提升自监督学习（SSL）的泛化性能。关键发现是，下游任务的最佳层通常并非最后一个投影层，而是中间层，这种性能提升源于SSL预训练任务与下游任务之间的不匹配；通过改进正样本对的设计减少这种不匹配，可降低对Guillotine Regularization的需求。

ABSTRACT

One unexpected technique that emerged in recent years consists in training a Deep Network (DN) with a Self-Supervised Learning (SSL) method, and using this network on downstream tasks but with its last few projector layers entirely removed. This trick of throwing away the projector is actually critical for SSL methods to display competitive performances on ImageNet for which more than 30 percentage points can be gained that way. This is a little vexing, as one would hope that the network layer at which invariance is explicitly enforced by the SSL criterion during training (the last projector layer) should be the one to use for best generalization performance downstream. But it seems not to be, and this study sheds some light on why. This trick, which we name Guillotine Regularization (GR), is in fact a generically applicable method that has been used to improve generalization performance in transfer learning scenarios. In this work, we identify the underlying reasons behind its success and show that the optimal layer to use might change significantly depending on the training setup, the data or the downstream task. Lastly, we give some insights on how to reduce the need for a projector in SSL by aligning the pretext SSL task and the downstream task.

研究动机与目标

• 调查为何在自监督学习模型中移除最终的投影头层能显著提升下游性能，尽管SSL目标函数在这些层上被优化。
• 识别这种反直觉做法（称为Guillotine Regularization）有效性的根本原因。
• 研究训练优化、数据分布和下游任务特征如何影响迁移学习的最佳层选择。
• 证明通过重新设计SSL预训练任务中的正样本对以更好地匹配下游目标，可减少对Guillotine Regularization的依赖。
• 倡导在迁移学习中系统性地评估多个层，而非默认使用主干网络或最后一个投影层。

提出的方法

• 作者提出Guillotine Regularization作为一种后训练阶段的层移除技术，与添加投影头等架构修改不同。
• 他们通过在多种SSL方法（如SimCLR、MoCo、BYOL）训练的ResNet50模型中，在不同层上评估线性探测器，比较各层在下游任务上的性能表现。
• 他们尝试了两种替代的正样本对定义：基于预训练SSL模型的最近邻样本，以及基于ImageNet标签的类别级样本对，以测试其与下游任务的对齐程度。
• 他们使用条件生成模型（RCDM）可视化并比较不同网络层中保留的信息内容。
• 他们使用标准数据增强（裁剪、颜色抖动、模糊、太阳化）进行训练，并为所有SSL方法使用3层MLP头以确保一致性。
• 他们通过消融实验研究优化、数据和下游任务的影响，评估层选择的敏感性。

实验结果

研究问题

• RQ1 为何在自监督学习模型中移除最终的投影头层能显著提升下游任务性能？
• RQ2 SSL预训练任务与下游任务之间的对齐程度如何影响Guillotine Regularization的必要性？
• RQ3 迁移学习的最佳层是否因训练设置、数据分布或下游任务而异？
• RQ4 通过重新定义SSL预训练任务中的正样本对以更好地与下游目标对齐，能否减少对Guillotine Regularization的需求？
• RQ5 中间层在SSL中是否比最后一个投影层包含更多可迁移且泛化性更强的特征？

主要发现

• 尽管SSL目标函数在这些层上被优化，但移除最终投影头层（即Guillotine Regularization）可使某些SSL方法在ImageNet线性探测任务中的准确率提升高达30个百分点。
• 下游性能的最佳层并不总是最后一个投影层；在许多情况下，中间层的表现优于主干网络和投影头层。
• 当SSL中的正样本对基于类别相似性定义（如同一ImageNet类别）时，主干网络与投影头层之间的性能差距显著缩小。
• 使用基于最近邻的正样本对可减少主干网络与投影头层之间的性能差距，表明预训练任务与下游任务之间的更好对齐可降低对Guillotine Regularization的需求。
• 最终投影层的表示通常会丢失高层次语义信息（如狗的品种身份），而中间层能更好地保留此类信息，这一现象通过RCDM的条件生成结果得到验证。
• Guillotine Regularization的有效性高度依赖于训练设置、数据分布和下游任务，表明在所有场景下并不存在一个通用的最优层。