[论文解读] Conditional Contrastive Learning with Kernel

Yao-Hung Hubert Tsai, Tianqin Li+5 more|arXiv (Cornell University)|Feb 11, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

该论文提出条件对比学习核方法（CCL-K），通过基于核的加权方案替代对比学习中的显式条件采样，以缓解罕见或连续条件变量的数据稀缺问题。通过利用核条件嵌入算子（KCEO）为数据点分配基于相似性的权重，CCL-K 实现了对连续及低资源条件值的有效对比学习，在弱监督、公平性和难负样本对比学习设置中均优于当前最先进基线方法。

ABSTRACT

Conditional contrastive learning frameworks consider the conditional sampling procedure that constructs positive or negative data pairs conditioned on specific variables. Fair contrastive learning constructs negative pairs, for example, from the same gender (conditioning on sensitive information), which in turn reduces undesirable information from the learned representations; weakly supervised contrastive learning constructs positive pairs with similar annotative attributes (conditioning on auxiliary information), which in turn are incorporated into the representations. Although conditional contrastive learning enables many applications, the conditional sampling procedure can be challenging if we cannot obtain sufficient data pairs for some values of the conditioning variable. This paper presents Conditional Contrastive Learning with Kernel (CCL-K) that converts existing conditional contrastive objectives into alternative forms that mitigate the insufficient data problem. Instead of sampling data according to the value of the conditioning variable, CCL-K uses the Kernel Conditional Embedding Operator that samples data from all available data and assigns weights to each sampled data given the kernel similarity between the values of the conditioning variable. We conduct experiments using weakly supervised, fair, and hard negatives contrastive learning, showing CCL-K outperforms state-of-the-art baselines.

研究动机与目标

• 解决条件对比学习中某些条件变量取值数据不足的问题。
• 在传统采样方法失效的连续或低频条件变量场景下，实现有效的对比学习。
• 以基于核的相似性加权机制替代显式条件采样，利用全部可用训练数据。
• 提升在弱监督、公平性及难负样本对比学习任务中的下游性能。
• 提供一个统一且可扩展的框架，适用于多样化的条件对比学习目标。

提出的方法

• CCL-K 以基于核的加权方案替代显式条件采样，为条件变量值与目标值相近的数据点分配更高权重。
• 采用核条件嵌入算子（KCEO）计算条件变量值之间的核相似性，并利用该相似性在对比学习过程中对数据进行加权。
• 使用平滑的核相似性矩阵 (K_Z + λI)^{-1}K_Z 计算权重，实现软性、连续的条件控制。
• 将此加权机制集成到标准对比学习目标（如 InfoNCE）中，使其可无缝应用于现有对比学习框架，无需架构修改。
• 通过利用核相似性而非精确匹配，支持对任意变量（包括连续变量）进行正负样本对的构建。
• 支持端到端训练，使表示在核加权的对比学习目标下进行优化，提升泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 基于核的加权能否替代对比学习中的显式条件采样，以处理数据稀缺或连续的条件变量？
• RQ2 在弱监督、公平性和难负样本学习设置中，CCL-K 相较于标准条件对比学习基线方法表现如何？
• RQ3 当条件变量数据不足时，使用核相似性是否能提升表示质量？
• RQ4 CCL-K 是否能在无需分箱或聚类的情况下有效处理连续条件变量？
• RQ5 基于核的加权对多种对比学习任务的下游分类准确率有何影响？

主要发现

• 在难负样本对比学习设置下，CCL-K 在 CIFAR-10 上比 InfoNCE 基线提升 1.8%，在 ImageNet-100 上提升 3.1%。
• 在同一设置下，CCL-K 在 CIFAR-10 上比 HardNeg InfoNCE 基线提升 0.3%，在 ImageNet-100 上提升 2.0%。
• CCL-K 在三项评估任务（弱监督、公平性、难负样本对比学习）中均达到当前最先进性能。
• 该方法实现了对连续条件变量的有效对比学习，无需分箱或聚类。
• 实证结果表明，基于核的加权在难负样本采样中优于基于欧氏距离的加权，能带来更好的下游性能。
• CCL-K 在多样化的条件对比学习目标中展现出强鲁棒性与泛化能力，即使在低资源条件值下亦表现优异。