[论文解读] Mine Your Own vieW: Self-Supervised Learning Through Across-Sample Prediction

Mehdi Azabou, Mohammad Gheshlaghi Azar+11 more|arXiv (Cornell University)|Feb 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 60被引用 13

一句话总结

Mine Your Own vieW (MYOW) 是一种自监督学习方法，通过使用数据集中最近邻作为正样本视图，而非仅依赖数据增强，来提升表征学习。它采用级联双投影器架构，预测增强视图和挖掘出的视图之间的表征，从而在图像基准测试中达到最先进性能，并在神经记录的神经科学应用中超越监督基线方法。

ABSTRACT

State-of-the-art methods for self-supervised learning (SSL) build representations by maximizing the similarity between different transformed "views" of a sample. Without sufficient diversity in the transformations used to create views, however, it can be difficult to overcome nuisance variables in the data and build rich representations. This motivates the use of the dataset itself to find similar, yet distinct, samples to serve as views for one another. In this paper, we introduce Mine Your Own vieW (MYOW), a new approach for self-supervised learning that looks within the dataset to define diverse targets for prediction. The idea behind our approach is to actively mine views, finding samples that are neighbors in the representation space of the network, and then predict, from one sample's latent representation, the representation of a nearby sample. After showing the promise of MYOW on benchmarks used in computer vision, we highlight the power of this idea in a novel application in neuroscience where SSL has yet to be applied. When tested on multi-unit neural recordings, we find that MYOW outperforms other self-supervised approaches in all examples (in some cases by more than 10%), and often surpasses the supervised baseline. With MYOW, we show that it is possible to harness the diversity of the data to build rich views and leverage self-supervision in new domains where augmentations are limited or unknown.

研究动机与目标

• 为解决自监督学习（SSL）中固定数据增强的局限性，这些增强可能无法充分捕捉语义多样性或在不同领域间泛化。
• 探究是否可以利用表征空间中的接近度，直接从数据集中挖掘出多样且语义有意义的视图。
• 开发一种统一的 SSL 框架，整合增强视图和挖掘视图，且无需负样本。
• 将 SSL 扩展到新领域，特别是神经科学领域，其中有效数据增强方法未知或有限。
• 证明在样本之间进行最近邻预测，可产生强于标准对比或实例级 SSL 方法的表征。

提出的方法

• 该方法引入一种级联双投影器架构：第一个投影器学习预测同一样本的增强视图，第二个投影器则预测潜在空间中附近样本的表征。
• 通过在目标网络的候选样本表征池中，计算锚样本在线网络表征的 k-最近邻（k-NN），来选择挖掘视图。
• 第二个投影器从第一个投影器的输出中提取信息，使模型能够学习预测语义相似但不同的样本的表征。
• 该框架基于 BYOL 构建，消除了对负样本的需求，简化了训练动态。
• 对跨物种（非人灵长类、大鼠、小鼠）的神经记录应用了一套通用的时间和空间增强，以实现一致的预训练。
• 该方法同时利用局部（时间）和非局部（跨样本）预测，以捕捉长程依赖关系和更丰富的表征。

实验结果

研究问题

• RQ1 表征空间中的最近邻样本能否作为自监督学习的有效、多样化正样本视图？
• RQ2 与标准数据增强相比，使用数据集中挖掘的视图在表征质量方面表现如何？
• RQ3 MYOW 是否能在增强方法有限或未知的领域（如神经记录）中实现泛化？
• RQ4 在神经科学应用中，跨样本预测是否优于标准实例级或对比 SSL 方法？
• RQ5 在脑解码任务中，使用 MYOW 的自监督学习能否超越监督基线？

主要发现

• 在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 上，MYOW 的性能与最先进方法（如 BYOL 和 SimCLR）相当或更优。
• 在脑解码任务中，MYOW 在部分神经记录数据集上的表现优于其他自监督方法超过 10%，包括来自运动皮层的运动预测和来自 V1 及海马体的睡眠阶段分类。
• 在神经数据集上，MYOW 始终优于使用 dropout 和权重衰减训练的监督基线，表明其在无标注数据下仍具备强大泛化能力。
• 该方法表明，仅依赖局部时间预测无法充分捕捉表征，而非局部（跨样本）预测——即在表征空间中使用 k-NN——可显著提升性能。
• 结合时间与空间增强以及挖掘视图，对于学习脑状态的有意义表征至关重要。
• MYOW 首次将自监督学习应用于单神经元级别的多单元神经记录，为脑信号分析开辟了新途径。