[论文解读] Exploring Instance Relations for Unsupervised Feature Embedding

Yifei Zhang, Yu Zhou+1 more|arXiv (Cornell University)|May 7, 2021

Machine Learning and Data Classification参考文献 22被引用 11

一句话总结

本文提出EIR，一种简单而有效的无监督特征嵌入方法，系统性地探索实例内多视角关系与实例间插值关系。通过对齐增强样本的距离分布，并将插值比例从像素空间迁移至特征空间，EIR在图像分类与检索基准上取得最先进性能，包括在kNN评估下于CIFAR-10上达到89.2%的top-1准确率。

ABSTRACT

Despite the great progress achieved in unsupervised feature embedding, existing contrastive learning methods typically pursue view-invariant representations through attracting positive sample pairs and repelling negative sample pairs in the embedding space, while neglecting to systematically explore instance relations. In this paper, we explore instance relations including intra-instance multi-view relation and inter-instance interpolation relation for unsupervised feature embedding. Specifically, we embed intra-instance multi-view relation by aligning the distribution of the distance between an instance's different augmented samples and negative samples. We explore inter-instance interpolation relation by transferring the ratio of information for image sample interpolation from pixel space to feature embedding space. The proposed approach, referred to as EIR, is simple-yet-effective and can be easily inserted into existing view-invariant contrastive learning based methods. Experiments conducted on public benchmarks for image classification and retrieval report state-of-the-art or comparable performance.

研究动机与目标

• 为解决现有对比学习方法过度依赖实例判别而忽视对实例关系系统性探索的局限性。
• 通过距离分布对齐方法，利用实例内多视角关系改进无监督特征嵌入。
• 通过将图像空间插值（如mixup、cutmix）中的信息比例迁移至特征嵌入空间，挖掘实例间插值关系。
• 开发一种可与现有视角不变对比学习框架兼容的即插即用方法，以增强判别性表征学习。

提出的方法

• EIR通过KL散度对齐同一实例的两个增强视图与训练集中所有样本的距离分布，引入实例内多视角关系。
• 通过将图像空间插值（如mixup、cutmix）中的信息比例迁移至特征嵌入空间，建模实例间插值关系。
• 计算每个增强样本与训练集中所有其他样本之间的距离分布，以捕捉关系结构。
• 该框架设计为可轻松集成至现有对比学习流水线中，无需架构修改。
• 损失函数将两种关系归纳偏差——分布对齐与插值一致性——统一于单一优化目标中。

实验结果

研究问题

• RQ1 如何系统性地利用实例内多视角关系以改进无监督特征嵌入？
• RQ2 能否有效将像素空间中的实例间插值关系迁移至特征空间，以增强表征学习？
• RQ3 同时结合实例内与实例间关系，在对比学习中相较于标准实例判别，能将性能提升多少？
• RQ4 基于关系归纳偏差的简单即插即用方法，能否超越或匹配最先进无监督方法？

主要发现

• 在kNN评估协议下，EIR于CIFAR-10上达到89.2%的top-1准确率，创下新的最先进结果。
• 在STL-10上，EIR在105K预训练参数下取得78.2%的kNN准确率，优于先前最先进方法aISIF的0.8%。
• 在ImageNet-100上，EIR取得66.5%的kNN准确率，较MoCo及其他方法至少高出2%。
• 在图像检索任务中，EIR于CIFAR-10上达到97.1%的R@8准确率，在细粒度Car-196数据集上达到62.1%的R@8准确率，展现出强大的判别能力。
• 定性t-SNE可视化表明，EIR增强了正样本对的吸引与负样本对的排斥，从而实现更优的聚类分离。
• 仅训练2轮的EIR即优于其他方法训练5轮的性能，表明其收敛更快且样本效率更高。