[论文解读] Improved Mutual Mean-Teaching for Unsupervised Domain Adaptive Re-ID

Yixiao Ge, Shijie Yu+1 more|arXiv (Cornell University)|Aug 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 28被引用 6

一句话总结

该论文提出了一种改进的互 mean-teaching（MMT+）框架，并结合结构化域自适应（SDA）方法，用于无监督域自适应行人重识别。通过利用 SDA 生成从源域到目标域的逼真翻译图像进行预训练，并通过引入跨域样本间关系建模和基于 MoCo 的实例判别机制来增强 MMT，该方法在 VisDA 2020 挑战赛中取得了 74.78% 的 mAP，排名第二。

ABSTRACT

In this technical report, we present our submission to the VisDA Challenge in ECCV 2020 and we achieved one of the top-performing results on the leaderboard. Our solution is based on Structured Domain Adaptation (SDA) and Mutual Mean-Teaching (MMT) frameworks. SDA, a domain-translation-based framework, focuses on carefully translating the source-domain images to the target domain. MMT, a pseudo-label-based framework, focuses on conducting pseudo label refinery with robust soft labels. Specifically, there are three main steps in our training pipeline. (i) We adopt SDA to generate source-to-target translated images, and (ii) such images serve as informative training samples to pre-train the network. (iii) The pre-trained network is further fine-tuned by MMT on the target domain. Note that we design an improved MMT (dubbed MMT+) to further mitigate the label noise by modeling inter-sample relations across two domains and maintaining the instance discrimination. Our proposed method achieved 74.78% accuracies in terms of mAP, ranked the 2nd place out of 153 teams.

研究动机与目标

• 为解决无监督域自适应中合成数据集与真实世界行人重识别数据集之间存在的显著域差距问题。
• 通过减轻噪声预测的影响，提升目标域中伪标签的鲁棒性。
• 协同结合基于域翻译的方法与基于伪标签的方法，以实现更优性能。
• 通过建模跨域样本间关系并保留实例判别能力，进一步提升当前最先进 MMT 框架的性能。
• 在合成到真实行人重识别的 VisDA 2020 基准测试中实现顶尖性能。

提出的方法

• 该方法采用三阶段流程：(1) 训练 SDA 模型，将源域的合成图像翻译为具有目标域真实感的图像。
• 第二阶段使用翻译后的源域到目标域图像，结合真实身份标签对重识别网络进行预训练。
• 第三阶段在无标签目标域上使用所提出的 MMT+ 框架对网络进行微调，该框架联合训练源域和目标域图像。
• MMT+ 通过建模跨域的类间与类内关系，改进了原始 MMT 的伪标签质量。
• 该框架引入了 MoCo 损失以保持实例判别能力，采用类似 MoCo 的动量编码器结构，提升训练鲁棒性。
• 后处理包括特征集成、相机相似性建模以及重排序，以进一步提升性能。

实验结果

研究问题

• RQ1 将域翻译与伪标签框架相结合，是否能提升行人重识别中的无监督域自适应性能？
• RQ2 建模跨域样本间关系对伪标签质量与 UDA 重识别中 mAP 的影响如何？
• RQ3 通过引入 MoCo 损失实现实例判别，能在多大程度上减轻目标域训练中噪声伪标签的影响？
• RQ4 在 SDA 生成的翻译图像上进行预训练，是否比使用原始源图像具有更好的泛化能力？
• RQ5 在具有挑战性的合成到真实 UDA 设置下，改进后的 MMT+ 框架相比原始 MMT 的性能提升有多大？

主要发现

• 所提方法在 VisDA 2020 挑战赛中取得了 74.78% 的 mAP，位列 153 支队伍中的第 2 名。
• 使用 SDA 生成图像进行预训练，使 mAP 从原始源图像的 61.0% 提升至 71.2%，证明了域翻译的有效性。
• 改进后的 MMT+ 框架在验证集上达到 81.2% 的 mAP，较原始 MMT（78.4% mAP）提升了 2.6%。
• 在不同主干网络中，DenseNet169-IBN 在 MMT+ 框架下于验证集上实现了最高的 84.1% mAP。
• 通过集成多个主干网络（ResNeSt50、ResNeSt101、DenseNet169-IBN、ResNeXt101-IBN），验证集 mAP 进一步提升至 86.3%。
• 消融实验确认，基于 SDA 的预训练与 MMT+ 的微调均对实现顶尖性能至关重要。