[论文解读] Towards the Generalization of Contrastive Self-Supervised Learning

Weiran Huang, Mingyang Yi+2 more|arXiv (Cornell University)|Nov 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 34被引用 21

一句话总结

本文提出一个理论框架，通过引入 $(\sigma,\delta)$-度量来量化数据增强，解释对比自监督学习的泛化能力。该框架证明了下游分类误差的上界，其依赖于正样本的对齐度、类别中心的差异度以及增强数据的集中度——突出显示数据增强是独立于模型训练的关键因素。

ABSTRACT

Recently, self-supervised learning has attracted great attention, since it only requires unlabeled data for model training. Contrastive learning is one popular method for self-supervised learning and has achieved promising empirical performance. However, the theoretical understanding of its generalization ability is still limited. To this end, we define a kind of $(σ,δ)$-measure to mathematically quantify the data augmentation, and then provide an upper bound of the downstream classification error rate based on the measure. It reveals that the generalization ability of contrastive self-supervised learning is related to three key factors: alignment of positive samples, divergence of class centers, and concentration of augmented data. The first two factors are properties of learned representations, while the third one is determined by pre-defined data augmentation. We further investigate two canonical contrastive losses, InfoNCE and cross-correlation, to show how they provably achieve the first two factors. Moreover, we conduct experiments to study the third factor, and observe a strong correlation between downstream performance and the concentration of augmented data.

研究动机与目标

• 为了从理论上理解对比自监督学习的泛化能力，尽管其在实践中表现强劲，但其理论理解仍显不足。
• 为了形式化数据增强在对比自监督学习中的作用，因其是归纳偏置的主要来源，但目前缺乏理论刻画。
• 为了识别并量化影响泛化的关键因素：正样本的对齐度、类别中心的差异度以及增强数据的集中度。
• 为了提供一个可证明的泛化误差上界，将这些因素与下游性能联系起来。
• 通过在 CIFAR-10 和 CIFAR-100 上的实验验证理论洞见，显示增强集中度与模型准确率之间存在强相关性。

提出的方法

• 引入一种新的 $(\sigma,\delta)$-增强度量，以量化增强数据的集中度：对于每一类，至少有分数 $\sigma$ 的样本位于距离 $\delta$ 以内的增强视图中。
• 将增强距离 $d_T(x_1, x_2)$ 定义为 $x_1$ 和 $x_2$ 的任意两个增强视图之间的最小距离。
• 基于三个组成部分推导出下游分类误差率的上界：正样本的对齐度、类别中心的差异度以及增强数据的 $(\sigma,\delta)$-集中度。
• 将理论框架应用于分析 InfoNCE 和交叉相关损失，表明它们可证明地优化对齐度和差异度。
• 通过实证评估研究第三个因素——$(\sigma,\delta)$-集中度——通过改变数据增强策略并测量下游准确率。
• 对 SimSiam 等模型进行消融研究，验证集中度的提升与性能提升相关，即使对齐度未被直接优化。

实验结果

研究问题

• RQ1 数据增强如何影响对比自监督学习的泛化能力，是否可以对其进行形式化量化？
• RQ2 决定对比自监督学习泛化误差的关键因素是什么，它们之间如何相互作用？
• RQ3 能否通过一个理论框架，将对齐度、差异度和数据增强集中度结合，来界定泛化误差？
• RQ4 标准对比损失（如 InfoNCE 和交叉相关损失）在多大程度上优化了所识别的泛化因素？
• RQ5 增强数据的集中度（以 $(\sigma,\delta)$ 衡量）与下游性能之间是否存在强实证相关性？

主要发现

• 对比自监督学习的泛化误差由一个包含正样本对齐度、类别中心差异度以及 $(\sigma,\delta)$-增强集中度的函数所上界控制。
• $(\sigma,\delta)$-度量量化了同一样本的增强视图在嵌入空间中的聚集紧密程度，$\sigma$ 越高、$\delta$ 越小，表示集中度越好。
• 在 CIFAR-10 和 CIFAR-100 上的实验表明，$(1 - \sigma)$ 值与下游分类误差之间存在强正相关，证实了更好的集中度带来更好的性能。
• 像 SimSiam 这类不直接优化对齐度的模型仍能实现良好泛化，表明 $(\sigma,\delta)$-度量捕捉到了一种独立于损失设计的基本归纳偏置。
• 对齐度和差异度因子在不同模型中的排序（MoCo < SimSiam < Barlow Twins）与它们的 KNN 准确率一致，验证了这些因子与性能之间的理论关联。
• 差异度因子在训练过程中持续改善，而对齐度在 MoCo 和 Barlow Twins 中单调提升，但在 SimSiam 中未呈现单调变化——表明尽管性能相似，其优化动态存在差异。