[论文解读] Improving Contrastive Learning by Visualizing Feature Transformation

Rui Zhu, Bingchen Zhao+3 more|arXiv (Cornell University)|Aug 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 55被引用 4

一句话总结

该论文提出了一种新颖的特征变换（FT）方法，通过外推生成更具挑战性的正样本对，通过插值生成多样化的负样本对，从而提升对比自监督学习性能，并利用新型评分分布分析工具进行可视化。该方法在ImageNet-100上相比MoCo提升6.0%，在ImageNet-1K上相比MoCoV2提升2.1%，并在目标检测和分割等下游任务中保持一致的性能增益。

ABSTRACT

Contrastive learning, which aims at minimizing the distance between positive pairs while maximizing that of negative ones, has been widely and successfully applied in unsupervised feature learning, where the design of positive and negative (pos/neg) pairs is one of its keys. In this paper, we attempt to devise a feature-level data manipulation, differing from data augmentation, to enhance the generic contrastive self-supervised learning. To this end, we first design a visualization scheme for pos/neg score (Pos/neg score indicates cosine similarity of pos/neg pair.) distribution, which enables us to analyze, interpret and understand the learning process. To our knowledge, this is the first attempt of its kind. More importantly, leveraging this tool, we gain some significant observations, which inspire our novel Feature Transformation proposals including the extrapolation of positives. This operation creates harder positives to boost the learning because hard positives enable the model to be more view-invariant. Besides, we propose the interpolation among negatives, which provides diversified negatives and makes the model more discriminative. It is the first attempt to deal with both challenges simultaneously. Experiment results show that our proposed Feature Transformation can improve at least 6.0% accuracy on ImageNet-100 over MoCo baseline, and about 2.0% accuracy on ImageNet-1K over the MoCoV2 baseline. Transferring to the downstream tasks successfully demonstrate our model is less task-bias. Visualization tools and codes https://github.com/DTennant/CL-Visualizing-Feature-Transformation .

研究动机与目标

• 开发一种可视化工具，用于分析对比学习训练过程中正样本对与负样本对的评分分布。
• 识别评分分布中的关键模式，揭示模型行为与表示质量的洞察。
• 设计基于特征层面的数据操作（特征变换），以超越传统数据增强手段，提升对比学习性能。
• 通过构建更具视图不变性与判别性的表示，减少预训练模型中的任务偏差。
• 在多种对比学习框架和下游任务中，证明所提方法的通用性与鲁棒性。

提出的方法

• 引入一种可视化方案，用于追踪并分析训练过程中正样本对与负样本对的余弦相似度（正/负样本评分）分布。
• 提出正样本外推方法，以增加正样本对的视图差异，生成“更具挑战性”的正样本，从而促进视图不变性。
• 引入负样本特征之间的插值操作，以生成多样化的负样本，增强判别能力。
• 在特征空间中直接应用特征变换，无需额外的数据增强或重新归一化。
• 采用可学习的混合策略，通过超参数α_in和α_ex控制插值与外推的强度。
• 验证了变换后进行ℓ₂归一化对性能影响可忽略不计，尽管为保持单位球面上的一致性，仍推荐执行此操作。

实验结果

研究问题

• RQ1 在对比学习过程中，正样本对与负样本对的评分分布如何演变？它们能揭示关于模型优化的哪些洞察？
• RQ2 基于特征层面的操作（如外推与插值）是否比数据增强更能有效提升对比学习性能？
• RQ3 生成更具挑战性的正样本和多样化的负样本是否能带来更好的泛化能力并减少下游任务中的任务偏差？
• RQ4 所提出的特征变换在不同对比学习架构和数据集上的通用性达到何种程度？
• RQ5 该可视化工具能否作为诊断工具，指导高效特征变换的设计？

主要发现

• 可视化工具揭示，较小的正样本评分（表示更高的视图差异）与更好的收敛性和更高的准确率相关，这为设计更具挑战性的正样本提供了动机。
• 正样本外推显著增加了视图差异并降低了正样本相似度，在消融实验中使ImageNet-100准确率提升1.7%（从71.1%提升至72.8%）。
• 所提出的特征变换在MoCo上使ImageNet-100准确率提升6.0%，在MoCoV2上使ImageNet-1K准确率提升2.1%，展现出显著的性能增益。
• 在下游任务中，该方法实现了稳定的性能提升：在iNaturalist2018上提升+1.7%，在CUB-200上提升+0.9%，在FGVC-aircraft上提升+1.1%，均优于MoCo和MoCo-V2基线模型。
• 该方法在目标检测与实例分割任务中优于任务特定模型（如DetCo和InsLoc），表明其有效降低了任务偏差。
• 该特征变换在多种对比学习模型中表现稳健且高效，包括MoCo、SimCLR、InfoMin、SWAV和SimSiam，在ImageNet-100上的准确率增益范围为0.7%至5.77%。