[论文解读] How Useful is Self-Supervised Pretraining for Visual Tasks?

Alejandro Newell, Jia Deng|arXiv (Cornell University)|Mar 31, 2020

Advanced Vision and Imaging参考文献 47被引用 10

一句话总结

本文通过受控数据复杂度的合成基准，研究了自监督预训练在视觉任务中的实际效用。研究发现，自监督方法在低数据场景下收益最大，随着标注数据增加，其效用逐渐减弱——通常在基线模型达到最大准确率之前即已趋于平稳，且线性评估难以准确预测微调性能。

ABSTRACT

Recent advances have spurred incredible progress in self-supervised pretraining for vision. We investigate what factors may play a role in the utility of these pretraining methods for practitioners. To do this, we evaluate various self-supervised algorithms across a comprehensive array of synthetic datasets and downstream tasks. We prepare a suite of synthetic data that enables an endless supply of annotated images as well as full control over dataset difficulty. Our experiments offer insights into how the utility of self-supervision changes as the number of available labels grows as well as how the utility changes as a function of the downstream task and the properties of the training data. We also find that linear evaluation does not correlate with finetuning performance. Code and data is available at \href{https://www.github.com/princeton-vl/selfstudy}{github.com/princeton-vl/selfstudy}.

研究动机与目标

• 评估自监督预训练在多样化视觉任务和数据场景下的实际效用。
• 研究数据集难度、模型规模和下游任务类型等因素如何影响预训练效用。
• 挑战自监督学习中常用线性评估作为微调性能代理的常见做法。
• 提供一个系统性基准，用于评估自监督方法，超越传统的基于ImageNet的比较。
• 量化自监督在标签效率方面的增益，即在达到相同准确率的前提下，可减少的标注预算。

提出的方法

• 构建了一个合成数据集套件，可完全控制数据复杂度（颜色、纹理、视角等），并提供无限数量的标注样本。
• 在分类、分割和深度估计任务中，评估了多种最先进自监督方法（AMDIM、CMC、Rotation、VAE）。
• 将效用指标定义为为匹配微调模型准确率所需额外标注样本的比例，从而实现标签节省的定量比较。
• 将微调性能与线性评估进行对比，通过冻结不同网络模块来评估对微调程度的敏感性。
• 采用ResNet9和ResNet50主干网络，研究模型容量对预训练效用的影响。
• 在不同数量的标注数据下测量性能，以分析效用随数据规模增长而衰减的规律。

实验结果

研究问题

• RQ1 随着可用标注样本数量的增加，自监督预训练的效用如何变化？
• RQ2 在线性评估中，其结果是否与自监督学习中的下游微调性能相关？
• RQ3 模型规模如何影响自监督预训练的效用？
• RQ4 数据复杂度（如纹理、视角变化）如何影响自监督方法的有效性？
• RQ5 在不同下游任务和数据配置下，自监督方法是否存在一致的性能排名？

主要发现

• 自监督预训练在低数据场景下收益最大，随着标注数据增加，其效用逐渐减弱，通常在基线模型达到最大准确率之前即趋于平稳。
• 实验中最为常见的结果是，自监督模型在性能达到平台期前，已与基线模型收敛至相同准确率，意味着增加更多数据无法带来进一步的标签节省。
• 线性评估与微调性能无相关性；例如，AMDIM在所有方法中线性准确率最高，但其在微调中的效用最低。
• 更大的模型（ResNet50）比更小的模型（ResNet9）展现出更高的效用，这既归因于其基线性能提升，也归因于微调后性能增益更优。
• 自监督在更复杂的数据上更有效（如具有随机纹理或视角变化的数据），尤其是对比学习方法，能更好地学习忽略非语义变换。
• 冻结更多网络层会降低性能，且线性评估准确率高的模型在冻结后性能下降更明显，表明线性评估是微调效用的不良代理。