[论文解读] Enhancing Diversity in Teacher-Student Networks via Asymmetric branches for Unsupervised Person Re-identification

Hao Chen, Benoit Lagadec+1 more|arXiv (Cornell University)|Nov 27, 2020

Video Surveillance and Tracking Methods参考文献 38被引用 39

一句话总结

在 Mean Teacher 中引入不对称分支，以用于无监督的 Re-ID，增加外观-签名的多样性并解耦教师与学生的权重，从而提高无监督领域自适应和完全无监督的 Re-ID。

ABSTRACT

The objective of unsupervised person re-identification (Re-ID) is to learn discriminative features without labor-intensive identity annotations. State-of-the-art unsupervised Re-ID methods assign pseudo labels to unlabeled images in the target domain and learn from these noisy pseudo labels. Recently introduced Mean Teacher Model is a promising way to mitigate the label noise. However, during the training, self-ensembled teacher-student networks quickly converge to a consensus which leads to a local minimum. We explore the possibility of using an asymmetric structure inside neural network to address this problem. First, asymmetric branches are proposed to extract features in different manners, which enhances the feature diversity in appearance signatures. Then, our proposed cross-branch supervision allows one branch to get supervision from the other branch, which transfers distinct knowledge and enhances the weight diversity between teacher and student networks. Extensive experiments show that our proposed method can significantly surpass the performance of previous work on both unsupervised domain adaptation and fully unsupervised Re-ID tasks.

研究动机与目标

• 通过增加特征和权重的多样性，激励减少无监督 Re-ID 的伪标签噪声。
• 提出不对称分支以多样化外观签名。
• 引入跨分支监督以防止教师-学生网络之间的耦合。
• 证明在无监督领域自适应和完全无监督 Re-ID 任务上的改进。

提出的方法

• 复制 ResNet 主干的最后几层以创建两个不对称分支，具有不同的深度和池化方式（GAP 与 GMP）。
• 将两个分支的特征连接，形成更丰富的外观签名，用于基于聚类的伪标签。
• 使用跨分支的师生监督，其中每个分支的教师通过交叉熵和软三元组损失引导对立分支的学生。
• 在每个 epoch 中对每个聚类计算动态分类器，以应对基于 DBSCAN 的伪标签中聚类数量的变化。
• 使用 Mean Teacher 训练，其中教师权重为学生权重的 EMA，并通过跨分支软标签和软三元组约束进行增强。

实验结果

研究问题

• RQ1 在 Mean Teacher 框架内，异构（不对称）分支是否能够维持教师与学生之间的多样性，从而避免耦合？
• RQ2 跨分支监督信号是否提升了软伪标签的质量以及 Re-ID 特征的判别能力？
• RQ3 在标准基准上，ABMT 与最先进的无监督领域自适应和完全无监督 Re-ID 方法相比的表现如何？

主要发现

• 不对称分支在目标域自适应期间显著提升了性能。
• 结合 DBSCAN 的动态聚类加上跨分支监督产生更好的硬伪标签和软伪标签。
• ABMT 在 Market→Duke 与 Duke→Market 任务上优于以往的基于 Mean-Teacher 的 UDA 方法（如 Market→Duke 的 69.1% mAP 和 82.0% Rank-1）。
• 跨分支监督在整个训练过程中维持更高的师生特征多样性，降低耦合。
• 骨干网络的改进（如 IBN-ResNet50）进一步提升所有任务的结果。