[论文解读] Bootstrap your own latent: A new approach to self-supervised Learning

Jean-Bastien Grill, Florian Strub+12 more|arXiv (Cornell University)|Jun 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 98被引用 3,436

一句话总结

BYOL 引入在线网络和目标网络，使用移动平均目标来自举表征，在 ImageNet 上实现无负对比的最先进结果，并显示出强烈的迁移与半监督性能。

ABSTRACT

We introduce Bootstrap Your Own Latent (BYOL), a new approach to self-supervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view of an image, we train the online network to predict the target network representation of the same image under a different augmented view. At the same time, we update the target network with a slow-moving average of the online network. While state-of-the art methods rely on negative pairs, BYOL achieves a new state of the art without them. BYOL reaches $74.3\%$ top-1 classification accuracy on ImageNet using a linear evaluation with a ResNet-50 architecture and $79.6\%$ with a larger ResNet. We show that BYOL performs on par or better than the current state of the art on both transfer and semi-supervised benchmarks. Our implementation and pretrained models are given on GitHub.

研究动机与目标

• 在没有标记数据的情况下，学习高质量的图像表征。
• 提出一个使用在线/目标网络进行自举以预测目标表征的框架。
• 展示相对于对比学习方法，在图像增强和批量大小上的鲁棒性。
• 在线性评估、半监督和迁移任务中显示出强大表现。

提出的方法

• 引入两个网络：在线端（编码器 f_theta，投影器 g_theta，预测器 q_theta）和目标端（相同架构，权重 xi）。
• 目标权重 xi 是在线权重 theta 的指数移动平均（xi <- tau*xi + (1-tau)*theta）。
• 在线分支中的预测器从不同增强视图预测目标投影；最小化归一化预测与目标投影之间的 L2 距离。
• 损失 L_theta,xi = ||q_theta(z_theta) - stopgrad(z'_xi)||^2，输入在在线/目标路径上对称增强。
• 通过最小化 L_BYOL_theta,xi = L_theta,xi + ~L_theta,xi 来训练，相对于 theta（在步骤中 xi 固定）。
• 使用与 SimCLR 相同的图像增强 T 和 T'，以 ResNet 主干和一个 MLP 投影器（输入 2048 维，隐藏 4096 维，输出 256 维）。

实验结果

研究问题

• RQ1 在自监督学习中是否能在不使用负对比的情况下避免表征崩溃？
• RQ2 通过移动平均目标进行自举如何影响表征质量以及对增强和批量大小的鲁棒性？
• RQ3 相较于以往方法，BYOL 对 ImageNet 线性评估、半监督学习和迁移任务的影响是什么？

主要发现

• 在使用 ResNet-50 的 ImageNet 线性评估中达到 74.3% 的 top-1 准确率，使用更大网络 RESNET-200 时达到 79.6%。
• 在不同架构的线性评估中，优于以往自监督方法。
• 在半监督和迁移基准上达到或超过状态最优。
• BYOL 对批量大小和增强选择显示鲁棒性，当减少增强时，其性能下降比 SimCLR 小。