[论文解读] A critical analysis of self-supervision, or what we can learn from a single image

Yuki M. Asano, Christian Rupprecht+1 more|arXiv (Cornell University)|Apr 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 67被引用 65

一句话总结

本论文分析来自不同深度的自监督表征在 ImageNet 上的表现，并展示线性探针在不同基于 patch 的增强中的行为，强调在较深层自监督方法落后于有监督性能，但在较早层可达到或超过，具体取决于训练方案和 patch 大小。

ABSTRACT

We look critically at popular self-supervision techniques for learning deep convolutional neural networks without manual labels. We show that three different and representative methods, BiGAN, RotNet and DeepCluster, can learn the first few layers of a convolutional network from a single image as well as using millions of images and manual labels, provided that strong data augmentation is used. However, for deeper layers the gap with manual supervision cannot be closed even if millions of unlabelled images are used for training. We conclude that: (1) the weights of the early layers of deep networks contain limited information about the statistics of natural images, that (2) such low-level statistics can be learned through self-supervision just as well as through strong supervision, and that (3) the low-level statistics can be captured via synthetic transformations instead of using a large image dataset.

研究动机与目标

• 在 ImageNet 上使用线性探针评估自监督表征在不同网络深度上的表现。
• 研究基于 patch 的增强策略对学习低层与高层特征的影响。
• 将自监督方法与有监督基线进行比较，找出随深度变化的性能差距。

提出的方法

• 用包括非常小的 patch 的多种增强策略训练自监督模型。
• 使用附着在不同网络层上的线性分类器评估表征。
• 绘制跨层的绝对和相对（相对于有监督）准确率，以评估深度相关趋势。
• 分析用小 patch 进行训练如何强调学习低层滤波器（conv1）。
• 比较无监督模型相对于有监督基线在深度上的性能下降。

实验结果

研究问题

• RQ1 在 ImageNet 上，当使用线性探针评估时，自监督表征在不同网络深度上的表现如何？
• RQ2 增强中的 patch 大小是否会影响学习到的表征，特别是低层滤波器？
• RQ3 在 ImageNet 上，自监督方法与有监督基线之间的深度相关差距有多大？
• RQ4 在某些训练方案下，自监督方法是否可以在早期层达到或超过有监督的表现？
• RQ5 不同的增强策略如何影响特征在各层之间的迁移能力？

主要发现

• 在某些基于 patch 的训练方案下，自监督模型在最前面的卷积层上可以超越有监督模型。
• 自监督方法的性能通常在超过 conv3 的深度后下降，而有监督模型随着深度增加而提升。
• 自监督方法相对于监督的相对收益随层而异，由于任务特定的监督，在更深的层中差距在扩大。
• 使用非常小的 patch 的基于 patch 的增强强调学习有用的低层滤波器。
• 在特定训练方案下，自监督模型的线性探针在早期层的表现与有监督基线相当。