[论文解读] ImCLR: Implicit Contrastive Learning for Image Classification

John Chen, Samarth Sinha+1 more|arXiv (Cornell University)|May 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 26被引用 4

一句话总结

ImCLR 提出了一种新颖的隐式对比学习框架，通过使深度网络在不修改损失函数、超参数或网络架构的前提下，隐式学习区分相似与不相似图像的能力，从而提升图像分类性能。该方法在监督学习、半监督学习和鲁棒性基准测试中均取得了当前最优的性能提升，包括在 Tiny ImageNet 上实现 3.24% 的准确率提升，以及在 Π-model 半监督基准上实现 2.16% 的提升。

ABSTRACT

Contrastive learning is an effective method for learning visual representations. In most cases, this involves adding an explicit loss function to encourage similar images to have similar representations, and different images to have different representations. In this paper, we introduce a clever construction for Implicit Contrastive Learning (ImCLR), primarily in the supervised setting: there, the network can implicitly learn to differentiate between similar and dissimilar images. Furthermore, this requires almost no change to existing pipelines, which allows for easy integration and for fair demonstration of effectiveness on a wide range of well-accepted benchmarks. Namely, there is no change to loss, no change to hyperparameters, and no change to general network architecture. We show that ImCLR improves the test error in the supervised setting across a variety of settings, including 3.24% on Tiny ImageNet, 1.30% on CIFAR-100, 0.14% on CIFAR-10, and 2.28% on STL-10. We show that this holds across different number of labeled samples, maintaining approximately a 2% gap in test accuracy down to using only 5\% of the whole dataset. We further show that gains hold for robustness to common input corruptions and perturbations at varying severities with a 0.72% improvement on CIFAR-100-C, and in the semi-supervised setting with a 2.16% improvement with the standard benchmark Π-model. We demonstrate that ImCLR is complementary to existing data augmentation techniques, achieving over 1% improvement on CIFAR-100 by combining ImCLR with CutMix over either baseline, and 2\% by combining ImCLR with AutoAugment over either baseline. Finally, we perform an ablation study.

研究动机与目标

• 开发一种对比学习方法，以在不改变现有训练流程的前提下提升视觉表征学习能力。
• 使模型能够在监督学习中隐式学习区分相似与不相似图像的能力。
• 在低数据量场景、对数据扰动和噪声的鲁棒性，以及半监督学习设置中保持性能优势。
• 确保与现有数据增强技术（如 CutMix 和 AutoAugment）的兼容性与互补性。

提出的方法

• ImCLR 引入了一种新颖的训练目标，通过改变特征空间的动力学行为，隐式促进对比学习，而无需显式的对比损失。
• 该方法利用网络内部的优化过程，在反向传播过程中隐式对齐正样本对并分离负样本对。
• 不修改损失函数、超参数或网络架构——仅改变优化过程的隐式归纳偏置。
• 该方法与标准监督训练兼容，并可无缝集成到现有的深度学习训练流程中。
• 其依赖于网络通过梯度更新隐式学习对比表示的能力，而无需显式的对比目标。
• 该框架设计为即插即用，无需对网络架构或训练流程进行任何修改。

实验结果

研究问题

• RQ1 隐式对比学习是否能在不修改损失函数或超参数的前提下提升监督图像分类的准确率？
• RQ2 在低数据量场景下（如仅使用 5% 的训练数据），ImCLR 的表现如何？
• RQ3 ImCLR 是否能增强模型对常见输入扰动和噪声的鲁棒性？
• RQ4 ImCLR 是否能与现有的数据增强策略（如 CutMix 和 AutoAugment）有效结合？
• RQ5 ImCLR 是否能泛化到半监督学习设置中，例如 Π-model 基准？

主要发现

• 与标准监督训练相比，ImCLR 在 Tiny ImageNet 上实现了 3.24% 的测试准确率提升。
• 在 CIFAR-100 上，ImCLR 在不改变任何训练流程的前提下，将测试准确率提升了 1.30%。
• 即使仅使用 5% 的训练数据，ImCLR 仍能保持约 2% 的准确率优势，优于基线模型。
• 在 CIFAR-100-C 上，ImCLR 将对扰动的鲁棒性提升了 0.72%，表明其在分布偏移下具备更强的泛化能力。
• 在半监督设置中，ImCLR 在标准 Π-model 基准上将性能提升了 2.16%。
• 当与 CutMix 或 AutoAugment 结合时，ImCLR 在 CIFAR-100 上分别实现了超过 1% 和 2% 的准确率提升，显示出极强的互补性。