[论文解读] A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning

Pan Zhou, Caiming Xiong+2 more|arXiv (Cornell University)|Jun 28, 2021

Domain Adaptation and Few-Shot Learning参考文献 62被引用 5

一句话总结

本文提出了一种理论驱动的自标签精炼方法，用于对比表示学习，通过迭代地利用语义相似性估计和动量混合（momentum mixup）来改进软标签，从而提升标签准确性。该方法在CIFAR-10、ImageNet、VOC和COCO上实现了最先进性能，通过更精确的监督减少了泛化误差，并在标签损坏条件下提供了标签恢复和零预测误差的理论保证。

ABSTRACT

For an image query, unsupervised contrastive learning labels crops of the same image as positives, and other image crops as negatives. Although intuitive, such a native label assignment strategy cannot reveal the underlying semantic similarity between a query and its positives and negatives, and impairs performance, since some negatives are semantically similar to the query or even share the same semantic class as the query. In this work, we first prove that for contrastive learning, inaccurate label assignment heavily impairs its generalization for semantic instance discrimination, while accurate labels benefit its generalization. Inspired by this theory, we propose a novel self-labeling refinement approach for contrastive learning. It improves the label quality via two complementary modules: (i) self-labeling refinery (SLR) to generate accurate labels and (ii) momentum mixup (MM) to enhance similarity between query and its positive. SLR uses a positive of a query to estimate semantic similarity between a query and its positive and negatives, and combines estimated similarity with vanilla label assignment in contrastive learning to iteratively generate more accurate and informative soft labels. We theoretically show that our SLR can exactly recover the true semantic labels of label-corrupted data, and supervises networks to achieve zero prediction error on classification tasks. MM randomly combines queries and positives to increase semantic similarity between the generated virtual queries and their positives so as to improves label accuracy. Experimental results on CIFAR10, ImageNet, VOC and COCO show the effectiveness of our method. PyTorch code and model will be released online.

研究动机与目标

• 为解决对比学习中不准确且信息量不足的独热编码标签问题，此类标签因查询与负样本之间的语义相似性不匹配而损害泛化能力。
• 从理论上证明MoCo-based对比学习中的泛化误差与估计语义标签和真实语义标签之间差异的线性关系。
• 开发一种自标签精炼框架，通过网络内部和数据反馈迭代提升标签质量。
• 不仅通过显式标签精炼，还通过提升查询与正样本之间的语义相似性来增强标签准确性。
• 在标签损坏条件下，通过确保真实语义标签的精确恢复，实现分类任务中的零预测误差。

提出的方法

• 提出自标签精炼器（Self-Labeling Refinery, SLR），利用正样本增强图的特征级相似性，估计查询与其中关键样本（正样本和负样本）之间的语义相似性。
• 通过线性融合将估计的相似性与原始独热标签，生成更具信息量和准确性的软标签，并在迭代精炼过程中持续优化。
• 采用动量混合（Momentum Mixup, MM）通过混合查询和正样本增强图生成虚拟查询，提高查询与正样本之间的语义相似性，从而隐式提升标签准确性。
• 理论分析证明，泛化误差下界由标签差异的L2范数决定，建立了标签准确性与模型性能之间的直接联系。
• 采用基于动量的更新机制，并具备理论收敛保证，确保在标签损坏条件下实现稳定精炼。
• 该框架在特定条件下可精确恢复真实语义标签，从而在分类任务中实现零预测误差。

实验结果

研究问题

• RQ1 对比学习中的标签不准确在实例判别任务中如何影响模型泛化能力？
• RQ2 能否仅通过网络和数据反馈，不依赖外部监督，实现自监督的标签精炼？
• RQ3 在MoCo风格的对比学习中，标签差异与泛化误差之间存在何种理论关系？
• RQ4 通过语义相似性估计与数据混合实现的软标签精炼，是否能在多种基准上提升性能？
• RQ5 在何种条件下，自标签方法可精确恢复真实语义标签并实现零预测误差？

主要发现

• MoCo在实例判别任务中的泛化误差由估计标签与真实标签差异的L2范数下界约束，证明了标签准确性对模型性能的直接影响。
• 所提出的SANE方法在CIFAR-10、ImageNet、VOC和COCO上实现了最先进性能，优于基线对比学习方法。
• 理论分析确认，当存在标签损坏时，该方法可精确恢复真实语义标签，确保分类任务中实现零预测误差。
• 动量混合（Momentum Mixup）提高了查询与正样本之间的语义相似性，隐式提升了标签质量与模型鲁棒性。
• 自标签精炼过程在理论保证下稳定收敛，误差界依赖于网络容量与数据分布。
• 实证结果表明，该方法在多个数据集上均表现出一致性能提升，验证了SLR与MM组件在提升表示学习效果方面的有效性。