[论文解读] Multi-label Contrastive Predictive Coding

Jiaming Song, Stefano Ermon|arXiv (Cornell University)|Jul 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 54被引用 9

一句话总结

本文提出多标签对比预测编码（ML-CPC），一种新颖的互信息估计方法，通过将互信息估计建模为多标签分类问题，对对比预测编码进行泛化。通过使判别器能够同时从同一批次中识别多个正样本，ML-CPC 超越了传统 CPC 的 log m 上限，同时保持互信息的合法下界，从而降低偏差并提升无监督表示学习与知识蒸馏的性能，在 13 项 CIFAR-100 蒸馏任务中的 10 项上优于当前最先进方法。

ABSTRACT

Variational mutual information (MI) estimators are widely used in unsupervised representation learning methods such as contrastive predictive coding (CPC). A lower bound on MI can be obtained from a multi-class classification problem, where a critic attempts to distinguish a positive sample drawn from the underlying joint distribution from $(m-1)$ negative samples drawn from a suitable proposal distribution. Using this approach, MI estimates are bounded above by $\log m$, and could thus severely underestimate unless $m$ is very large. To overcome this limitation, we introduce a novel estimator based on a multi-label classification problem, where the critic needs to jointly identify multiple positive samples at the same time. We show that using the same amount of negative samples, multi-label CPC is able to exceed the $\log m$ bound, while still being a valid lower bound of mutual information. We demonstrate that the proposed approach is able to lead to better mutual information estimation, gain empirical improvements in unsupervised representation learning, and beat a current state-of-the-art knowledge distillation method over 10 out of 13 tasks.

研究动机与目标

• 解决如 CPC 等变分互信息估计器中的偏差问题，其上界为 log m，当 m 较小时会严重低估互信息。
• 开发一种方法，在不增加计算成本或违反下界保证的前提下，提高互信息估计的有效上界。
• 在无监督表示学习与知识蒸馏中实现更优的互信息估计与下游性能。
• 提供一种理论基础坚实、计算高效、偏差-方差权衡更优的现有对比学习目标替代方案。

提出的方法

• 将对比预测编码重新表述为多标签分类问题，使判别器从同一批次中识别多个正样本，而非仅一个。
• 引入重加权 ML-CPC，通过调整正样本与负样本的影响，使有效上界超过 log m，同时保持下界性质。
• 推导出理论保证：在特定权重选择下，所提目标仍为互信息的有效下界。
• 采用判别器网络对查询与多个关键表示之间的相似性进行打分，通过多个正样本对的交叉熵损失进行端到端优化。
• 在重加权 ML-CPC 中采用课程学习调度策略，逐步增加识别的正样本数量，提升训练稳定性和性能。
• 将该方法应用于互信息估计、知识蒸馏与自监督表示学习，计算开销极低。

实验结果

研究问题

• RQ1 多标签分类框架能否将互信息估计的上界超越标准对比学习的 log m 限制？
• RQ2 是否可能在保持互信息有效下界的同时，突破 log m 的上界？
• RQ3 重加权 ML-CPC 在下游表示学习任务中与标准 CPC 及当前最先进知识蒸馏方法相比表现如何？
• RQ4 ML-CPC 是否能在严格的计算与内存约束下实现更优性能？
• RQ5 课程学习调度对 ML-CPC 的训练动态与最终性能有何影响？

主要发现

• 在使用 CIFAR-100 的 13 项任务中，ML-CPC 在 10 项上超越当前最先进知识蒸馏方法，展现出显著的实证优势。
• 在 CIFAR-10 上，ML-CPC 经过 1000 个训练周期后线性分类准确率达到 70.03%，显著优于标准 CPC 与其他基线方法。
• 在仅训练 30 个周期的计算受限 ImageNet 设置下，ML-CPC 达到 43.86% 的 top-1 准确率，超过标准 CPC 与其他基线方法。
• 理论分析表明，重加权 ML-CPC 目标接近无分布依赖、高置信度互信息估计器的理论极限。
• 通过在固定计算成本下提升有效 m 值，突破标准单正样本约束，显著降低互信息估计的偏差。
• ML-CPC 的课程学习变体在 CIFAR-10 与 ImageNet 上均提升性能，表明其在低资源场景下的良好泛化能力。