[论文解读] A Note on Connecting Barlow Twins with Negative-Sample-Free Contrastive Learning

Yao-Hung Hubert Tsai, Shaojie Bai+2 more|arXiv (Cornell University)|Apr 28, 2021

Domain Adaptation and Few-Shot Learning参考文献 15被引用 14

一句话总结

本文通过将 Barlow Twins 的目标与希尔伯特-施мид特独立性准则（HSIC）关联，将其重新解释为一种无需负样本的对比学习方法，证明该方法在无需负样本对或打破对称性的网络结构的情况下，最大化了增强视图之间的统计独立性。实验结果表明，将原始损失替换为基于 HSIC 的目标后性能无下降，验证了其在实践中的等价性。

ABSTRACT

In this report, we relate the algorithmic design of Barlow Twins' method to the Hilbert-Schmidt Independence Criterion (HSIC), thus establishing it as a contrastive learning approach that is free of negative samples. Through this perspective, we argue that Barlow Twins (and thus the class of negative-sample-free contrastive learning methods) suggests a possibility to bridge the two major families of self-supervised learning philosophies: non-contrastive and contrastive approaches. In particular, Barlow twins exemplified how we could combine the best practices of both worlds: avoiding the need of large training batch size and negative sample pairing (like non-contrastive methods) and avoiding symmetry-breaking network designs (like contrastive methods).

研究动机与目标

• 提供 Barlow Twins 的一种替代性理论解释，超越其原始的信息瓶颈动机。
• 通过将 Barlow Twins 框架化为最大化增强视图之间的 HSIC，建立其与对比学习之间的联系。
• 消除先前对 Barlow Twins 理论分析中高斯假设的依赖。
• 证明基于 HSIC 的目标在保持性能的同时更具一般性和实用性。
• 将无需负样本的对比学习定位为连接非对比学习与对比学习自监督学习范式之间的桥梁。

提出的方法

• 将 Barlow Twins 的损失重新表述为最大化增强视图表示之间希尔伯特-施米特独立性准则（HSIC）的优化目标。
• 通过核 Gram 矩阵与中心化矩阵 H，采用经验 HSIC 估计方法，计算联合分布与乘积分布之间的差异。
• 提出改进的目标函数：$\widehat{{\rm HSIC}}(X,Y) = \frac{1}{n^2} {\rm tr}(\mathbf{K}_X \mathbf{H} \mathbf{K}_Y \mathbf{H})$，其中 $\mathbf{K}_X, \mathbf{K}_Y$ 为核矩阵，$\mathbf{H}$ 为中心化矩阵。
• 通过用 HSIC 最大化替代原始 Barlow Twins 损失中的交叉相关性最小化，消除了对高斯假设的依赖。
• 采用 ResNet-50 主干网络与非线性投影头提取 $d$ 维特征，将 $X$ 和 $Y$ 作为两个增强视图。
• 在 Barlow Twins 与基于 HSIC 的目标中均设置 $\lambda = \frac{1}{d}$，以确保在不同投影头维度下的公平比较。

实验结果

研究问题

• RQ1 Barlow Twins 是否可被解释为一种避免使用负样本的对比学习方法？
• RQ2 基于 HSIC 的解释是否消除了其理论证明中对高斯假设的依赖？
• RQ3 基于 HSIC 的目标在实践中与原始 Barlow Twins 损失的性能相比如何？
• RQ4 无需负样本的对比学习能否作为非对比学习与对比学习自监督学习方法之间的统一框架？
• RQ5 尽管理论上具有鲁棒性，为何在 Barlow Twins 及其基于 HSIC 的变体中，性能随批量大小增加而下降？

主要发现

• 在 CIFAR-10 与 Tiny ImageNet 上，基于 HSIC 的目标在不同投影头维度 $d$ 下，性能与原始 Barlow Twins 损失无显著差异。
• 在调整训练轮数或批量大小时，Barlow Twins 与基于 HSIC 的目标之间未观察到显著性能差异。
• 两种方法在大批量设置下均出现性能下降，与理论预期的鲁棒性相悖，提示自监督学习中存在一个开放性问题。
• HSIC 解释提供了比原始基于高斯假设的信息瓶颈动机更一般化的理论基础。
• 结果支持如下观点：无需负样本的对比学习可统一非对比学习与对比学习自监督学习方法的关键优势。
• 本研究证实 Barlow Twins 无需对称性破坏网络，且基于 HSIC 的公式化在保持该特性的基础上，建立在更广泛的统计框架之上。