[论文解读] Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods

Randall Balestriero, Yann LeCun|arXiv (Cornell University)|May 23, 2022

Civil and Geotechnical Engineering Research被引用 22

一句话总结

论文将自监督学习方法（VICReg、SimCLR、BarlowTwins）与谱嵌入技术统一起来，推导出闭式表示和网络参数，并提供区分全局与局部谱视角的基于原理的设计指南。

ABSTRACT

Self-Supervised Learning (SSL) surmises that inputs and pairwise positive relationships are enough to learn meaningful representations. Although SSL has recently reached a milestone: outperforming supervised methods in many modalities\dots the theoretical foundations are limited, method-specific, and fail to provide principled design guidelines to practitioners. In this paper, we propose a unifying framework under the helm of spectral manifold learning to address those limitations. Through the course of this study, we will rigorously demonstrate that VICReg, SimCLR, BarlowTwins et al. correspond to eponymous spectral methods such as Laplacian Eigenmaps, Multidimensional Scaling et al. This unification will then allow us to obtain (i) the closed-form optimal representation for each method, (ii) the closed-form optimal network parameters in the linear regime for each method, (iii) the impact of the pairwise relations used during training on each of those quantities and on downstream task performances, and most importantly, (iv) the first theoretical bridge between contrastive and non-contrastive methods towards global and local spectral embedding methods respectively, hinting at the benefits and limitations of each. For example, (i) if the pairwise relation is aligned with the downstream task, any SSL method can be employed successfully and will recover the supervised method, but in the low data regime, VICReg's invariance hyper-parameter should be high; (ii) if the pairwise relation is misaligned with the downstream task, VICReg with small invariance hyper-parameter should be preferred over SimCLR or BarlowTwins.

研究动机与目标

• 将自监督学习（SSL）方法与谱嵌入理论统一起来。
• 给定关系矩阵 G，推导出 SSL 损失的闭式最优表示。
• 在 SSL 损失的线性区间内获得闭式最优网络参数。
• 表征何时 SSL 解与全局与局部谱嵌入方法对齐。
• 基于 G 和下游任务，提供在选择 SSL 目标和超参数方面的实用设计指南。

提出的方法

• 将 VICReg、SimCLR 和 BarlowTwins 映射到谱嵌入对应方法（拉普拉斯特征映射 Laplacian Eigenmaps、MDS、CCA、LPP、LDA）。
• 将 SSL 损失的闭式最优表示 Z* 推导为关系矩阵 G 和损失超参数的函数。
• 在线性区间内计算 SSL 损失的精确最优线性网络参数。
• 证明 SSL 方法约束 Z 的左奇异向量与 G 的左奇异向量对齐，而不约束右奇异向量。
• 表征超参数（例如 gamma/alpha）在控制秩和 G 信息整合中的作用。
• 提供基于第一性原理推导的 SSL 目标的解析联系和潜在变体。

实验结果

研究问题

• RQ1 SSL 损失是否能够被精确映射到经典的谱嵌入方法？
• RQ2 给定 G 时，VICReg、SimCLR/NNCLR 与 BarlowTwins 的闭式最优表示 Z* 是什么？
• RQ3 超参数如何影响 SSL 表示的秩和信息捕获？
• RQ4 在何种条件下，SSL 表示与下游任务及监督对等方法对齐？

主要发现

• 在适当的情形下，VICReg、SimCLR 和 BarlowTwins 对应于谱嵌入方法，如 Laplacian Eigenmaps、ISOMAP 和 CCA。
• 最优的 SSL 表示 Z* 可以从拉普拉斯矩阵的组合中闭式获得，从而实现显式的谱解释（定理1及相关结果）。
• 在线性区间，SSL 网络参数 W* 具有闭式表达式，揭示了网络强调的输入统计量。
• 通过调整损失超参数（gamma/alpha），VICReg 可获得满秩的 Z*，而 SimCLR 和 BarlowTwins 强制 rank(Z)=rank(G)，表明对 G 的错配具有不同的鲁棒性。
• 对比学习方法与全局谱嵌入对齐（关注保持全局结构），而非对比学习方法与本地谱嵌入对齐（关注局部平滑）。
• Z 的左奇异向量被约束为与 G 的左奇异向量匹配，并且，在与 Y 的右谱对齐的前提下，任何 SSL 损失都可以为下游任务产生最优表示。