[论文解读] Contrastive Learning Inverts the Data Generating Process

R. Zimmermann, Yash Sharma+3 more|arXiv (Cornell University)|Feb 17, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用 28

一句话总结

本文证明基于 InfoNCE 的对比学习在隐式地反转底层数据生成过程，将对比学习与生成建模以及非线性独立成分分析（nonlinear ICA）联系起来，尽管假设被违反，仍具有经验上的鲁棒性。

ABSTRACT

Contrastive learning has recently seen tremendous success in self-supervised learning. So far, however, it is largely unclear why the learned representations generalize so effectively to a large variety of downstream tasks. We here prove that feedforward models trained with objectives belonging to the commonly used InfoNCE family learn to implicitly invert the underlying generative model of the observed data. While the proofs make certain statistical assumptions about the generative model, we observe empirically that our findings hold even if these assumptions are severely violated. Our theory highlights a fundamental connection between contrastive learning, generative modeling, and nonlinear independent component analysis, thereby furthering our understanding of the learned representations as well as providing a theoretical foundation to derive more effective contrastive losses.

研究动机与目标

• 理解对比表示为何在下游任务中具有泛化能力。
• 在理论上将对比学习与潜在的数据生成过程及生成建模联系起来。
• 建立与非线性独立成分分析的联系，以解释表示。
• 提供理论基础，用以推导更有效的对比损失。

提出的方法

• 证明以 InfoNCE 为目标训练的前馈模型在隐式上反转数据生成过程。
• 阐明并依赖于关于生成模型的统计假设。
• 展示对比学习、生成建模和非线性 ICA 之间的联系。
• 提供经验证据，显示即使假设被违反，理论也具有鲁棒性。
• 概述推导改进对比损失函数的含义。

实验结果

研究问题

• RQ1 在上述假设下，基于 InfoNCE 的对比学习是否会反转数据生成过程？
• RQ2 当生成模型的假设被违反时，理论结果在多大程度上成立？
• RQ3 对比学习、生成建模和非线性 ICA 在数学上是如何相互连接的？
• RQ4 这些见解是否能指导设计更有效的对比损失函数？

主要发现

• 以 InfoNCE 为目标训练的前馈模型在隐式上反转观测数据的潜在生成模型。
• 证明依赖于关于生成模型的某些统计假设。
• 经验上，即使这些假设被严重违反，发现仍然成立。
• 该工作建立了对比学习、生成建模和非线性 ICA 之间的根本联系。
• 结果提供了推导更有效对比损失的理论基础。