[论文解读] Cross-Dataset Person Re-Identification via Unsupervised Pose Disentanglement and Adaptation

Yu-Jhe Li, Ci-Siang Lin+2 more|arXiv (Cornell University)|Sep 20, 2019

Video Surveillance and Tracking Methods参考文献 51被引用 29

一句话总结

该论文提出PDA-Net，一种新颖的无监督跨数据集行人重识别框架，通过统一的生成对抗网络在深度图像表征中解耦姿态与领域因素。通过联合学习域不变特征与姿态解耦特征，结合重建损失、姿态损失、域损失和MMD损失，模型实现了无需身份或姿态类别监督的跨数据集姿态引导图像转换与恢复，相较于之前的方法在Market-1501和DukeMTMC-reID上实现了SOTA性能，Rank-1准确率提升了20–25%。

ABSTRACT

Person re-identification (re-ID) aims at recognizing the same person from images taken across different cameras. To address this challenging task, existing re-ID models typically rely on a large amount of labeled training data, which is not practical for real-world applications. To alleviate this limitation, researchers now targets at cross-dataset re-ID which focuses on generalizing the discriminative ability to the unlabeled target domain when given a labeled source domain dataset. To achieve this goal, our proposed Pose Disentanglement and Adaptation Network (PDA-Net) aims at learning deep image representation with pose and domain information properly disentangled. With the learned cross-domain pose invariant feature space, our proposed PDA-Net is able to perform pose disentanglement across domains without supervision in identities, and the resulting features can be applied to cross-dataset re-ID. Both of our qualitative and quantitative results on two benchmark datasets confirm the effectiveness of our approach and its superiority over the state-of-the-art cross-dataset Re-ID approaches.

研究动机与目标

• 解决目标域数据缺乏身份标注的跨数据集行人重识别挑战。
• 克服现有方法仅关注风格迁移或无法在不同域间保持姿态信息的局限性。
• 在目标域中无需预定义的姿态类别或身份监督下，学习姿态与领域因素的解耦表征。
• 仅通过图像和姿态输入，实现单域图像恢复与跨域图像转换。
• 通过联合优化域不变特征与姿态不变特征，提升无监督重识别中的泛化能力与判别能力。

提出的方法

• 提出统一的生成对抗网络（PDA-Net），联合学习域不变特征与姿态解耦表征。
• 使用重建损失在域间图像转换过程中保留图像级别的细节。
• 引入共享姿态判别器，以确保源域与目标域间姿态表征的一致性。
• 应用姿态损失，确保生成图像中保持解耦的姿态特征。
• 利用域损失在保持域特定特征的同时，实现域不变特征学习。
• 采用MMD损失，最小化特征空间中源域与目标域之间的域偏移。

实验结果

研究问题

• RQ1 在无身份或姿态类别监督的情况下，能否有效实现跨域的姿态引导图像转换？
• RQ2 解耦姿态与领域因素是否能提升无监督跨数据集行人重识别中的泛化能力？
• RQ3 联合优化重建损失、姿态损失、域损失与MMD损失对重识别性能有何影响？
• RQ4 共享姿态判别器是否优于独立判别器，在跨域姿态解耦中表现更优？
• RQ5 所提方法在多大程度上减少了域偏移，同时保留了姿态与内容信息？

主要发现

• 与之前无监督跨数据集重识别方法相比，PDA-Net在Market-1501和DukeMTMC-reID上均实现了20–25%的Rank-1准确率相对提升。
• 若排除重建损失，Market-1501上的Rank-1性能下降23%，DukeMTMC-reID上下降20%，证实其在图像质量保持中的关键作用。
• 若移除姿态损失，两个数据集上的性能均下降20%，表明其在有效姿态解耦中的必要性。
• 域损失贡献显著，禁用后性能下降10%，表明其在维持正确特征解耦中的作用。
• MMD损失有效减少了域偏移，其移除后性能出现可测量的下降，验证了其在域对齐中的贡献。
• 定性结果表明，PDA-Net成功生成了高质量、姿态可控的跨域图像，在风格迁移与姿态解耦方面均优于SPGAN与FD-GAN。