[论文解读] Federated and Generalized Person Re-identification through Domain and Feature Hallucinating

Fengxiang Yang, Zhun Zhong+3 more|arXiv (Cornell University)|Mar 5, 2022

Video Surveillance and Tracking Methods被引用 6

一句话总结

本文提出了一种新型联邦域泛化方法——领域与特征幻化（DFH），用于行人重识别任务，通过在客户端之间共享领域级特征统计（DFS）来提升模型泛化能力。通过随机重加权生成新的领域统计，并利用仿射变换实施特征幻化，DFH 在本地训练过程中生成多样化且保持相似性的特征，实现了在四个大规模重识别基准上的最先进性能，且无数据泄露。

ABSTRACT

In this paper, we study the problem of federated domain generalization (FedDG) for person re-identification (re-ID), which aims to learn a generalized model with multiple decentralized labeled source domains. An empirical method (FedAvg) trains local models individually and averages them to obtain the global model for further local fine-tuning or deploying in unseen target domains. One drawback of FedAvg is neglecting the data distributions of other clients during local training, making the local model overfit local data and producing a poorly-generalized global model. To solve this problem, we propose a novel method, called "Domain and Feature Hallucinating (DFH)", to produce diverse features for learning generalized local and global models. Specifically, after each model aggregation process, we share the Domain-level Feature Statistics (DFS) among different clients without violating data privacy. During local training, the DFS are used to synthesize novel domain statistics with the proposed domain hallucinating, which is achieved by re-weighting DFS with random weights. Then, we propose feature hallucinating to diversify local features by scaling and shifting them to the distribution of the obtained novel domain. The synthesized novel features retain the original pair-wise similarities, enabling us to utilize them to optimize the model in a supervised manner. Extensive experiments verify that the proposed DFH can effectively improve the generalization ability of the global model. Our method achieves the state-of-the-art performance for FedDG on four large-scale re-ID benchmarks.

研究动机与目标

• 解决因本地数据过拟合导致联邦学习在行人重识别中泛化能力差的问题。
• 在不集中原始数据的前提下实现在联邦设置下的域泛化，保护隐私。
• 通过在本地训练期间模拟多样化、未见的域分布，提升全局模型的泛化能力。
• 开发一种在跨域幻化特征的同时保持成对相似性的方法。

提出的方法

• 该方法在不传输原始数据的前提下，于客户端之间共享领域级特征统计（DFS）——即每个身份的均值与方差。
• 提出领域幻化（DH），通过使用随机采样的权重对共享的DFS进行重加权，以合成新的领域统计。
• 特征幻化（FH）利用合成的新统计对本地特征应用仿射变换，从而多样化特征分布。
• 幻化后的特征保留了原始的成对相似性，使本地训练期间可进行监督优化。
• 训练流程在本地训练（使用DFH）、客户端向服务器更新模型与DFS、服务器端模型聚合，以及全局模型和更新后的DFS重新分发之间交替进行。
• 该过程在多个周期内迭代，以提升本地与全局模型的泛化能力。

实验结果

研究问题

• RQ1 在不集中数据的前提下，共享领域级特征统计是否能提升联邦行人重识别中的泛化性能？
• RQ2 如何在本地训练期间生成多样化且真实的训练样本，以防止对本地数据分布的过拟合？
• RQ3 在特征幻化过程中保持成对相似性是否能增强多域重识别中的模型泛化能力？
• RQ4 所提方法是否能在联邦域泛化基准上实现最先进性能？

主要发现

• 所提出的DFH方法在联邦域泛化设置下的四个大规模重识别基准上均达到最先进性能。
• 在MS+C2+M → C3设置中，该方法实现了56.5%的rank-1准确率和31.3%的mAP，优于基线方法。
• 收敛性分析表明，在MS+C2+M → C3设置中，模型在第35个周期时趋于稳定，表明训练动态有效。
• 使用D2D的图像重建实验表明，从共享DFS重建的图像模糊且无法辨认，证实DFS不泄露敏感信息。
• t-SNE可视化结果表明，DFH生成的特征比基线Mixup方法更具多样性，且具备更好的域间泛化能力与保持的类内相似性。