[论文解读] Delving into Inter-Image Invariance for Unsupervised Visual Representations

Jiahao Xie, Xiaohang Zhan+3 more|arXiv (Cornell University)|Aug 26, 2020

Domain Adaptation and Few-Shot Learning被引用 15

一句话总结

本文提出 InterCLR，一种统一的无监督视觉表征学习框架，整合了图像内与图像间不变性。通过系统研究伪标签维护、采样策略与决策边界设计，结果表明图像间不变性——即学习语义相似图像之间的相似性——显著优于当前最先进的图像内方法，在标准基准上取得最先进性能，且训练轮次更少、计算成本更低。

ABSTRACT

Contrastive learning has recently shown immense potential in unsupervised visual representation learning. Existing studies in this track mainly focus on intra-image invariance learning. The learning typically uses rich intra-image transformations to construct positive pairs and then maximizes agreement using a contrastive loss. The merits of inter-image invariance, conversely, remain much less explored. One major obstacle to exploit inter-image invariance is that it is unclear how to reliably construct inter-image positive pairs, and further derive effective supervision from them since no pair annotations are available. In this work, we present a comprehensive empirical study to better understand the role of inter-image invariance learning from three main constituting components: pseudo-label maintenance, sampling strategy, and decision boundary design. To facilitate the study, we introduce a unified and generic framework that supports the integration of unsupervised intra- and inter-image invariance learning. Through carefully-designed comparisons and analysis, multiple valuable observations are revealed: 1) online labels converge faster and perform better than offline labels; 2) semi-hard negative samples are more reliable and unbiased than hard negative samples; 3) a less stringent decision boundary is more favorable for inter-image invariance learning. With all the obtained recipes, our final model, namely InterCLR, shows consistent improvements over state-of-the-art intra-image invariance learning methods on multiple standard benchmarks. We hope this work will provide useful experience for devising effective unsupervised inter-image invariance learning. Code: https://github.com/open-mmlab/mmselfsup.

研究动机与目标

• 探究无监督视觉表征学习中尚未被充分挖掘的图像间不变性潜力，其研究程度远低于图像内不变性。
• 解决在无人工标注标签的情况下构建可靠图像间正样本对的挑战，尤其因训练过程中伪标签的不稳定性。
• 识别最优设计选择——伪标签维护、采样策略与决策边界——以实现有效的图像间不变性学习。
• 开发统一框架 InterCLR，无缝结合图像内与图像间不变性，以提升表征学习性能。
• 证明图像间不变性在减少训练资源投入的前提下，仍可实现与或优于当前最先进图像内方法的性能提升。

提出的方法

• 提出统一框架 InterCLR，通过共享特征空间中的对比学习，联合优化图像内与图像间不变性。
• 采用在线小批量 k-means 聚类维护最新伪标签，替代稀疏全局聚类，以减少标签滞后。
• 采用半硬负样本采样策略，选择难度适中但非错误分类的负样本，提升训练稳定性和性能。
• 在对比损失中采用较宽松的决策边界，以增强特征学习的鲁棒性，尤其在伪标签存在噪声时。
• 利用学习到的特征实现实例级相似性，形成图像间正样本对，使模型能够学习同一类别不同实例间的语义不变性。
• 应用对比损失，鼓励同一图像增强视图间的特征相似性（图像内）以及语义相似图像间的特征相似性（图像间），同时拉大不相似样本的距离。

实验结果

研究问题

• RQ1 在图像间不变性学习中，与离线或全局聚类相比，在性能与稳定性方面，在线伪标签维护表现如何？
• RQ2 在伪标签存在噪声的情况下，哪种负样本采样策略——硬负样本、半硬负样本、随机负样本或易负样本——在图像间对比学习中更有效且可靠？
• RQ3 对比损失中决策边界的选取如何影响图像间不变性学习的泛化能力与鲁棒性？
• RQ4 当设计得当时，图像间不变性学习是否能在标准基准上持续优于当前最先进图像内不变性方法？
• RQ5 图像间不变性学习在多大程度上可减少对大规模预训练及高计算成本的需求？

主要发现

• 通过小批量 k-means 实现的在线伪标签维护，相比离线或全局聚类，因减少标签滞后，实现更快收敛与更优性能。
• 半硬负样本采样产生的梯度更可靠、无偏，而硬负样本采样常因伪标签不准确而包含错误正例。
• 对比损失中采用较宽松的决策边界可提升泛化能力与性能，因其避免了对噪声或错误图像间配对的过拟合。
• InterCLR 在多个标准基准（包括 ImageNet）上持续优于当前最先进图像内不变性方法（如 SimCLR、SwAV、BYOL），表现更优。
• InterCLR 在性能上与或优于以往最先进方法，而后者依赖更大的批量大小与更长的预训练周期，证明其训练效率更优。
• KNN 检索结果表明，即使在第 10 个最近邻中，InterCLR 仍能检索到更多正确邻居，且余弦相似度更高，证实图像间不变性带来的显著优势。