[论文解读] Decentralised Person Re-Identification with Selective Knowledge Aggregation

Shitong Sun, Guile Wu+1 more|arXiv (Cornell University)|Oct 21, 2021

Video Surveillance and Tracking Methods参考文献 38被引用 4

一句话总结

本文提出了一种新型联邦行人重识别方法——选择性知识聚合（SKA），通过学习领域特定的注意力归一化与局部批量归一化层，将本地模型个性化与全局模型泛化解耦。该方法通过双局部归一化机制选择性聚合知识，在已见和未见领域上均实现了最先进性能，显著提升了先前去中心化Re-ID方法的准确率。

ABSTRACT

Existing person re-identification (Re-ID) methods mostly follow a centralised learning paradigm which shares all training data to a collection for model learning. This paradigm is limited when data from different sources cannot be shared due to privacy concerns. To resolve this problem, two recent works have introduced decentralised (federated) Re-ID learning for constructing a globally generalised model (server)without any direct access to local training data nor shared data across different source domains (clients). However, these methods are poor on how to adapt the generalised model to maximise its performance on individual client domain Re-ID tasks having different Re-ID label spaces, due to a lack of understanding of data heterogeneity across domains. We call this poor 'model personalisation'. In this work, we present a new Selective Knowledge Aggregation approach to decentralised person Re-ID to optimise the trade-off between model personalisation and generalisation. Specifically, we incorporate attentive normalisation into the normalisation layers in a deep ReID model and propose to learn local normalisation layers specific to each domain, which are decoupled from the global model aggregation in federated Re-ID learning. This helps to preserve model personalisation knowledge on each local client domain and learn instance-specific information. Further, we introduce a dual local normalisation mechanism to learn generalised normalisation layers in each local model, which are then transmitted to the global model for central aggregation. This facilitates selective knowledge aggregation on the server to construct a global generalised model for out-of-the-box deployment on unseen novel domains. Extensive experiments on eight person Re-ID datasets show that the proposed approach to decentralised Re-ID significantly outperforms the state-of-the-art decentralised methods.

研究动机与目标

• 解决现有去中心化Re-ID方法在数据异构性和标签空间差异背景下，难以在单个客户端领域实现强模型个性化的问题。
• 通过平衡模型个性化与全局泛化能力，提升在已见源领域和未见新领域上的性能。
• 设计一种机制，在不损害全局模型向新未见领域泛化能力的前提下，保留本地领域特定知识。
• 引入双局部归一化策略，实现支持联邦Re-ID中个性化与泛化的选择性知识聚合。

提出的方法

• 将注意力归一化（AN）引入批量归一化层，以学习每个客户端的实例特定、领域自适应的特征表示。
• 引入局部特定归一化（LSN）层，这些层在每个客户端上独立训练，并与全局服务器聚合解耦，以保留模型个性化。
• 设计双局部归一化机制，学习两种类型的归一化：一种用于本地个性化（LSN），一种用于全局泛化（G-Norm），两者均通过联邦学习更新。
• 仅将泛化归一化层（G-Norm）传输至中央服务器进行聚合，同时将LSN层保留在本地，以维持领域特定知识。
• 采用选择性聚合策略，仅使用G-Norm组件更新全局模型，避免因直接聚合LSN层导致的性能下降。
• 在联邦设置下迭代训练模型，客户端更新其本地模型（包括LSN与G-Norm），仅将G-Norm参数发送至服务器进行全局聚合。

实验结果

研究问题

• RQ1 去中心化Re-ID方法如何在数据异构性和标签空间差异背景下，提升单个客户端领域的模型个性化能力？
• RQ2 学习领域特定归一化层对去中心化Re-ID模型在已见源领域上的性能有何影响？
• RQ3 双归一化机制能否在不损害未见领域性能的前提下，有效平衡联邦Re-ID中的模型个性化与泛化能力？
• RQ4 与直接平均所有本地归一化层相比，选择性聚合泛化归一化层在全局模型泛化能力方面表现如何？
• RQ5 在数据异构条件下，注意力归一化在去中心化Re-ID中对特征表示的增强程度如何？

主要发现

• 所提出的SKA方法在八个行人重识别数据集上均达到最先进性能，在已见和未见领域上均优于现有去中心化方法。
• 在VIPeR数据集上，SKA将未见领域的R1从基线的48.2%提升至53.9%，同时在已见领域达到66.6%的R1，展现出强大的个性化与泛化能力。
• 与仅使用LSN的基线相比，双局部归一化机制在VIPeR和iLIDS上将泛化性能提升了约2%，同时保持了高水平的个性化性能。
• SKA结合LSN与AN在Market-1501上达到78.2% R1，在DukeMTMC上达到92.7% R1，较基线在已见与未见领域上均提升超过10个百分点。
• 消融实验表明，双归一化机制可补偿因学习本地个性化知识导致的性能下降，实现了个性化与泛化之间更优的权衡。
• 采用双归一化机制的SKA模型在iLIDS（未见）上达到72.7% R1，在VIPeR（未见）上达到49.8% R1，显著优于基线及对本地归一化层进行平均或拼接的变体。