[论文解读] Learning to Learn in a Semi-Supervised Fashion

Yun-Chun Chen, Chao-Te Chou+1 more|arXiv (Cornell University)|Aug 25, 2020

Video Surveillance and Tracking Methods参考文献 97被引用 5

一句话总结

该论文提出了一种新颖的元学习框架，用于半监督图像匹配，其中标注数据与未标注数据的类别集合不相交——这在行人重识别和图像检索任务中很常见。该方法不拟合类别特定的相似度分数，而是从标注数据中学习语义导向的相似度表征，并将其迁移至未标注数据，从而实现自监督伪标签化，在半监督设置下于Market-1501和DukeMTMC-reID数据集上取得了最先进性能。

ABSTRACT

To address semi-supervised learning from both labeled and unlabeled data, we present a novel meta-learning scheme. We particularly consider that labeled and unlabeled data share disjoint ground truth label sets, which can be seen tasks like in person re-identification or image retrieval. Our learning scheme exploits the idea of leveraging information from labeled to unlabeled data. Instead of fitting the associated class-wise similarity scores as most meta-learning algorithms do, we propose to derive semantics-oriented similarity representations from labeled data, and transfer such representation to unlabeled ones. Thus, our strategy can be viewed as a self-supervised learning scheme, which can be applied to fully supervised learning tasks for improved performance. Our experiments on various tasks and settings confirm the effectiveness of our proposed approach and its superiority over the state-of-the-art methods.

研究动机与目标

• 解决标注数据与未标注数据类别不重叠的图像匹配任务中的半监督学习问题。
• 开发一种方法，将标注数据中的语义相似度表征迁移至未标注数据，且无需事先知晓未标注类别数量。
• 通过推导有意义的相似度表征来引导未标注数据的特征学习，实现自监督学习。
• 在监督有限的条件下，提升行人重识别与图像检索任务的性能。
• 将所提方法扩展至完全监督设置，证明其更广泛的应用潜力。

提出的方法

• 该方法通过在随机采样的标注图像对上训练的元学习方案，学习语义导向的相似度表征。
• 采用对比学习目标，促使在学习表征空间中相似图像具有高相似度分数，而不同图像具有低相似度分数。
• 将学习到的相似度表征迁移至未标注数据，以指导特征学习并实现无需类别重叠的伪标签分配。
• 通过结合标注数据上的监督对比损失与未标注数据上的自监督对比损失，端到端训练该框架。
• 该方法与现有深度度量学习模型（如AlignedReID和BoT）兼容，可通过集成所提出的元学习策略加以增强。
• 该方法通过利用从标注数据中学到的语义结构来指导未标注数据的表征学习，实现自监督运行。

实验结果

研究问题

• RQ1 当标注数据与未标注数据的类别集合不相交时，元学习框架能否有效将语义相似度表征从标注数据迁移至未标注数据？
• RQ2 学习语义导向的相似度表征在半监督行人重识别与图像检索任务中如何提升性能？
• RQ3 所提方法在完全监督设置下的泛化能力如何？是否优于现有最先进模型？
• RQ4 该方法能否在不知晓未标注类别数量的前提下，实现对未标注数据的有效伪标签化？
• RQ5 在半监督与完全监督设置下，该模型的性能与现有最先进方法相比如何？

主要发现

• 在Market-1501数据集上，该方法与AlignedReID结合后，Rank-1准确率达到91.1%，mAP达到78.1%，优于基线模型。
• 在DukeMTMC-reID数据集上，该方法与AlignedReID结合后，Rank-1准确率达到81.7%，mAP达到67.7%，表现一致提升。
• 与BoT结合后，该方法在Market-1501上实现了94.8%的Rank-1准确率和86.1%的mAP，超越了原始BoT模型的性能。
• 在DukeMTMC-reID上，该方法与BoT结合后实现了86.6%的Rank-1准确率和76.8%的mAP，展现出跨数据集的强大泛化能力。
• 在半监督设置下，该方法在Market-1501和DukeMTMC-reID上均达到了最先进性能，优于现有SOTA方法。
• 通过t-SNE可视化证实，所学习到的语义导向相似度表征能促使未标注数据空间中的特征嵌入更加分离。