[论文解读] Evaluating Self-Supervised Pretraining Without Using Labels

Colorado Reed, Sean L. Metzger+3 more|arXiv (Cornell University)|Sep 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 6

一句话总结

本文提出使用图像旋转预测作为自监督评估指标，以在无标注数据的情况下选择最优增强策略。其在多种设置下均显示出旋转预测性能与下游监督准确率之间存在极强相关性（斯皮尔曼等级相关系数 >0.94），从而实现无需标签的超参数调优，其性能可与依赖标签的方法相媲美。

ABSTRACT

A common practice in unsupervised representation learning is to use labeled data to evaluate the learned representations - oftentimes using the labels from the unlabeled training dataset. This supervised evaluation is then used to guide the training process, e.g. to select augmentation policies. However, supervised evaluations may not be possible when labeled data is difficult to obtain (such as medical imaging) or ambiguous to label (such as fashion categorization). This raises the question: is it possible to evaluate unsupervised models without using labeled data? Furthermore, is it possible to use this evaluation to make decisions about the training process, such as which augmentation policies to use? In this work, we show that the simple self-supervised evaluation task of image rotation prediction is highly correlated with the supervised performance of standard visual recognition tasks and datasets (rank correlation > 0.94). We establish this correlation across hundreds of augmentation policies and training schedules and show how this evaluation criteria can be used to automatically select augmentation policies without using labels. Despite not using any labeled data, these policies perform comparably with policies that were determined using supervised downstream tasks. Importantly, this work explores the idea of using unsupervised evaluation criteria to help both researchers and practitioners make decisions when training without labeled data.

研究动机与目标

• 为解决在无法获取或不切实际获取标注数据时评估自监督表征的挑战。
• 探究无监督评估指标是否能可靠地指导数据增强策略的选择。
• 确定旋转预测是否可作为表示学习中下游性能的代理指标。
• 实现自监督训练流水线的自动化、无标签超参数搜索。

提出的方法

• 将图像旋转预测用作自监督评估任务，即模型预测输入图像所应用的旋转角度。
• 使用不同的增强策略训练多个自监督模型，并测量其旋转预测准确率。
• 将数百种训练配置下的旋转预测性能与标准基准上的下游监督准确率进行相关性分析。
• 将旋转预测得分用作代理指标，在不访问标签的情况下选择最佳增强策略。
• 在下游任务上评估所选策略的性能，以验证其与基于标签的选择方法的性能对比。

实验结果

研究问题

• RQ1 旋转预测能否作为自监督表征学习中下游监督性能的可靠代理？
• RQ2 在不同增强策略和训练调度下，旋转预测准确率与下游准确率的相关性有多强？
• RQ3 能否在不访问标签的情况下，利用旋转预测自动选择最优数据增强策略？
• RQ4 使用旋转预测进行策略选择是否能获得与基于标签的选择方法相当的性能？

主要发现

• 在数百种训练配置中，旋转预测性能与下游监督准确率的等级相关系数超过0.94。
• 所提出的无标签评估方法成功识别出增强策略，其性能可与基于下游监督任务选择的策略相媲美。
• 该方法可在无需标注数据的情况下实现有效的超参数搜索与模型选择，即使在标签稀缺或模糊的情况下亦成立。
• 旋转预测与下游性能之间的相关性在不同数据集和训练调度下均保持一致。