[论文解读] A Theoretical Analysis of Contrastive Unsupervised Representation Learning

Sanjeev Arora, Hrishikesh Khandeparkar+3 more|arXiv (Cornell University)|Feb 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 24被引用 258

一句话总结

该论文提出对比学习无监督表示学习的理论框架，引入潜在类别以形式化语义相似性，并证明使用均值分类器的下游线性分类的泛化保证，对多负样本的扩展以及在实验中对块相似性进行了测试。

ABSTRACT

Recent empirical works have successfully used unlabeled data to learn feature representations that are broadly useful in downstream classification tasks. Several of these methods are reminiscent of the well-known word2vec embedding algorithm: leveraging availability of pairs of semantically "similar" data points and "negative samples," the learner forces the inner product of representations of similar pairs with each other to be higher on average than with negative samples. The current paper uses the term contrastive learning for such algorithms and presents a theoretical framework for analyzing them by introducing latent classes and hypothesizing that semantically similar points are sampled from the same latent class. This framework allows us to show provable guarantees on the performance of the learned representations on the average classification task that is comprised of a subset of the same set of latent classes. Our generalization bound also shows that learned representations can reduce (labeled) sample complexity on downstream tasks. We conduct controlled experiments in both the text and image domains to support the theory.

研究动机与目标

• 通过潜在类别形式化语义相似性，并表明下游任务构成这些类别的子集。
• 证明通过对比无监督损失学习得到的表示在使用 mean classifier 时可获得较低的平均监督损失。
• 基于 Rademacher 复杂度为学习得到的表示给出一般化界限。
• 调查负采样的局限性并提出扩展以利用更大块的相似点。
• 在文本和图像领域的受控实验中验证理论。

提出的方法

• 将相似性定义为从同一潜在类别中抽取的一对，对应类别分布 rho。
• 引入无监督对比损失 L_un，使用相似样本和负样本，以及带线性分类器的监督损失 L_sup。
• 证明 L_sup 是 L_un 的函数及泛化项 Gen_M 的界限（通过 Rademacher 平均）。
• 使用 mean classifier W^μ，其行是类别均值 μ_c，以连接无监督与监督损失。
• 分析类碰撞 (tau) 和类内偏差 s(f) 对性能保证的影响。
• 将框架扩展到 k 个负样本以及对样本块求平均的基于块的相似性损失。

实验结果

研究问题

• RQ1 在何种条件下最小化无监督对比损失能够产生良好的监督（线性）分类性能？
• RQ2 类碰撞 (tau) 和类内变异 (s(f)) 如何影响对比学习提供的保证？
• RQ3 该框架是否能够容纳多个负样本和基于块的相似性以改进保证和实践？
• RQ4 对比学习的局限性有哪些，扩展是否能够在完全监督表示方面恢复竞争力的保证？

主要发现

• 建立了一个代理关系：在潜在类别上的平均值下，低的无监督损失意味着低的监督性能。
• 一个界限表明在广义条件下，L_sup^μ(¬) 可以被 L_un^{neq}(f) 和类内偏差 s(f) 控制，Gen_M 捕捉有限样本效应。
• 由于类碰撞，负采样存在局限性；框架量化了何时这些会带来损害以及如何缓解。
• 使用相似点块（而非成对）可产生更紧的界限并带来潜在的经验改进。
• 通过文本和图像领域的受控实验来支持理论框架的分析。