[论文解读] ICE: Inter-instance Contrastive Encoding for Unsupervised Person Re-identification

Hao Chen, Benoit Lagadec+1 more|arXiv (Cornell University)|Mar 30, 2021

Video Surveillance and Tracking Methods参考文献 47被引用 12

一句话总结

本文提出了一种新型无监督行人重识别方法——跨实例对比编码（ICE），该方法利用成对实例相似性来改进对比学习。通过使用相似性排序进行困难正样本挖掘以实现困难实例对比，同时利用软相似性分数保持数据增强的一致性，ICE有效降低了类内方差并增强了模型鲁棒性，在无需任何身份标注的情况下，于Market1501、DukeMTMC-reID和MSMT17数据集上取得了最先进性能。

ABSTRACT

Unsupervised person re-identification (ReID) aims at learning discriminative identity features without annotations. Recently, self-supervised contrastive learning has gained increasing attention for its effectiveness in unsupervised representation learning. The main idea of instance contrastive learning is to match a same instance in different augmented views. However, the relationship between different instances has not been fully explored in previous contrastive methods, especially for instance-level contrastive loss. To address this issue, we propose Inter-instance Contrastive Encoding (ICE) that leverages inter-instance pairwise similarity scores to boost previous class-level contrastive ReID methods. We first use pairwise similarity ranking as one-hot hard pseudo labels for hard instance contrast, which aims at reducing intra-class variance. Then, we use similarity scores as soft pseudo labels to enhance the consistency between augmented and original views, which makes our model more robust to augmentation perturbations. Experiments on several large-scale person ReID datasets validate the effectiveness of our proposed unsupervised method ICE, which is competitive with even supervised methods. Code is made available at https://github.com/chenhao2345/ICE.

研究动机与目标

• 为解决现有无监督ReID方法在对比学习中对实例间关系利用不足的问题。
• 通过基于实例成对相似性排序的困难正样本挖掘，降低无监督ReID中的类内方差。
• 通过将相似性分数作为软伪标签，提升模型对数据增强扰动的鲁棒性。
• 构建一个完全无监督的框架，在无需身份标注的前提下，性能达到或超过有监督方法。

提出的方法

• ICE利用小批量内成对相似性分数，为每个锚点样本识别出最困难的正样本，形成one-hot困难伪标签，用于困难实例对比学习。
• 该方法基于这些困难伪标签构建对比损失，以最小化类内方差并提升聚类紧凑性。
• 利用成对相似性分数作为软伪标签，强制原始视图与增强视图之间的一致性，从而增强对数据增强的鲁棒性。
• 该框架包含三个组件：类别级对比（基于中心点）、困难实例对比（最困难正样本）和软一致性损失（增强不变性）。
• 其完全无监督运行，无需身份标注，且兼容相机无关与相机感知的记忆库。
• 模型通过端到端训练，基于自监督实例级与成对相似性学习所导出的对比目标进行优化。

实验结果

研究问题

• RQ1 能否通过利用实例间的成对相似性，使无监督行人重识别性能超越仅依赖类别级与实例级对比学习的方法？
• RQ2 基于相似性排序的困难正样本挖掘，如何降低无监督ReID中的类内方差？
• RQ3 将软相似性分数作为伪标签，能否增强模型对数据增强扰动的鲁棒性？
• RQ4 通过利用实例间亲和力，是否能在无监督设置下实现与有监督方法相当或更优的性能？

主要发现

• ICE(aware)在Market1501上达到82.3%的rank-1准确率，较相机感知基线CAP高出2.9个百分点。
• ICE(agnostic)在Market1501上较相机无关基线SpCL高出2.8%，证明其在无相机先验条件下仍具备更强鲁棒性。
• 在MSMT17上，ICE(aware)达到98.4%的rank-1准确率，显著超越所有先前的无监督与UDA方法。
• ICE在性能上可与有监督方法比肩：使用真实标签时，ICE在Market1501上达到86.6%的rank-1准确率，接近PCB与DG-Net的性能表现。
• 消融实验表明，困难实例对比与软一致性损失均对性能提升有显著贡献。
• 定性结果表明，ICE在困难检索案例中成功捕捉到细粒度视觉线索，如衣物图案、发色与配饰。