[论文解读] An Empirical Study on Disentanglement of Negative-free Contrastive Learning

Jinkun Cao, Ruiqian Nai+3 more|arXiv (Cornell University)|Jun 9, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出一种新的解耦度量方法 MED（基于互信息的熵解耦），用于评估高维表示空间中的无负样本对比学习——现有度量方法在此类场景下失效。实证结果表明，无负样本对比学习方法可在高维空间中学习到良好解耦的表示子空间，将解耦表示学习研究拓展至真实世界复杂数据（如 CelebA）及高维模型，超越以往低维合成基准测试。

ABSTRACT

Negative-free contrastive learning methods have attracted a lot of attention with simplicity and impressive performances for large-scale pretraining. However, its disentanglement property remains unexplored. In this paper, we examine negative-free contrastive learning methods to study the disentanglement property empirically. We find that existing disentanglement metrics fail to make meaningful measurements for high-dimensional representation models, so we propose a new disentanglement metric based on Mutual Information between latent representations and data factors. With this proposed metric, we benchmark the disentanglement property of negative-free contrastive learning on both popular synthetic datasets and a real-world dataset CelebA. Our study shows that the investigated methods can learn a well-disentangled subset of representation. As far as we know, we are the first to extend the study of disentangled representation learning to high-dimensional representation space and introduce negative-free contrastive learning methods into this area. The source code of this paper is available at \url{https://github.com/noahcao/disentanglement_lib_med}.

研究动机与目标

• 探究无负样本对比学习是否能在现有解耦度量失效的高维空间中生成解耦表示。
• 将解耦表示学习从合成的低维数据集扩展至真实世界复杂数据（如 CelebA）。
• 开发一种适用于高维表示模型的鲁棒解耦度量方法，克服先前度量的局限性。
• 对最先进无负样本对比学习方法在合成与真实世界数据集上的解耦性能进行实证基准测试。

提出的方法

• 基于潜在表示与数据潜在因子之间的互信息，提出一种新的解耦度量 MED，以实现在高维空间中的有效评估。
• 采用 top-k 选择策略，基于 MED 分数从完整表示空间中识别出最解耦的维度。
• 将 MED 度量应用于合成数据集（dSprites、Shapes3D、SmallNORB、Cars3D）和真实世界 CelebA 数据集的解耦性评估。
• 使用所提出的 MED 度量训练并评估多种无负样本对比学习模型（如 SimSiam、BYOL、Barlow Twins 等）。
• 将 top-k 解耦子空间的下游性能与完整表示及低维 VAE 基线模型进行比较。
• 对超参数 k 进行消融研究，验证 top-k MED 选择在不同子空间大小下的鲁棒性。

实验结果

研究问题

• RQ1 现有解耦度量能否在高维表示模型（尤其是对比学习模型）中实现有意义的评估？
• RQ2 无负样本对比学习方法是否能在高维潜在空间中学习到解耦表示？
• RQ3 能否从高维对比表示中识别出良好解耦的子空间？其性能与完整表示相比如何？
• RQ4 在真实世界数据（如 CelebA）上，对比学习的解耦质量与传统基于 VAE 的生成模型相比如何？
• RQ5 对比模型中 top-k 选择的子空间在下游任务中是否能实现与低维 VAE 相当或更优的性能？

主要发现

• 所提出的 MED 度量成功实现了对高维表示空间中解耦性的评估，而此前的度量因设计局限性在该场景下失效。
• 无负样本对比学习方法（如 SimSiam 和 BYOL）在 MED 度量下表现出在部分潜在维度上的强解耦性。
• 在 CelebA 数据集上，传统基于 VAE 的方法未能学习到良好的解耦表示，凸显了当前解耦研究与真实世界数据复杂性之间的差距。
• 在 dSprites、Shapes3D 和 CelebA 上，对比模型的 top-k 解耦子空间在下游任务中实现了与低维 VAE 完整表示相当或更优的性能。
• 不同 k 值下 top-k 子空间的 MED 分数保持稳定，表明选择过程具有鲁棒性和可靠性。
• 研究发现，尽管完整表示在多个维度上包含因子相关的信息，但 top-k 选择的维度具有高度解耦性和可解释性。