[论文解读] Generalizable Person Re-identification with Relevance-aware Mixture of Experts

Yongxing Dai, Xiaotong Li+3 more|arXiv (Cornell University)|May 19, 2021

Video Surveillance and Tracking Methods参考文献 60被引用 11

一句话总结

本文提出了一种新颖的域泛化行人重识别方法——相关性感知混合专家模型（RaMoE），通过基于目标域相关性的投票机制，动态整合来自特定域专家的特征。通过强制专家特征去相关并利用元学习学习域相关性，RaMoE 在无需训练时使用目标域数据的情况下，实现了在未见目标域上的最先进性能。

ABSTRACT

Domain generalizable (DG) person re-identification (ReID) is a challenging problem because we cannot access any unseen target domain data during training. Almost all the existing DG ReID methods follow the same pipeline where they use a hybrid dataset from multiple source domains for training, and then directly apply the trained model to the unseen target domains for testing. These methods often neglect individual source domains' discriminative characteristics and their relevances w.r.t. the unseen target domains, though both of which can be leveraged to help the model's generalization. To handle the above two issues, we propose a novel method called the relevance-aware mixture of experts (RaMoE), using an effective voting-based mixture mechanism to dynamically leverage source domains' diverse characteristics to improve the model's generalization. Specifically, we propose a decorrelation loss to make the source domain networks (experts) keep the diversity and discriminability of individual domains' characteristics. Besides, we design a voting network to adaptively integrate all the experts' features into the more generalizable aggregated features with domain relevance. Considering the target domains' invisibility during training, we propose a novel learning-to-learn algorithm combined with our relation alignment loss to update the voting network. Extensive experiments demonstrate that our proposed RaMoE outperforms the state-of-the-art methods.

研究动机与目标

• 解决传统域泛化 ReID 方法忽略各源域特性及目标域相关性的问题。
• 通过利用多样化源域专家之间的互补信息，提升模型在未见目标域上的泛化能力。
• 设计一种动态特征整合机制，根据专家与未见目标域的相关性自适应加权。
• 通过元学习框架结合关系对齐损失，实现在训练阶段无需访问目标域数据的情况下有效训练投票网络。

提出的方法

• 为每个源域训练独立的特定域专家网络，以保留各域的特征特性和判别能力。
• 引入去相关损失，最小化专家特征之间的相关性，确保跨域表示的多样性与互补性。
• 设计投票网络，计算未见目标域与各源域的相关性，并为专家特征分配自适应权重。
• 采用元学习框架结合关系对齐损失训练投票网络，以在不依赖目标域数据的情况下模拟目标域泛化能力。
• 利用投票网络输出的权重对专家特征进行加权求和，使相关性更高的专家获得更高权重。
• 结合使用 'softmax' 进行相关性评分与 'concatenation' 进行特征融合，以保留丰富且多维的信息。

实验结果

研究问题

• RQ1 与单一统一模型相比，使用特定域专家的混合模型是否能提升域泛化行人重识别的泛化性能？
• RQ2 在推理阶段，如何有效估计并利用未见目标域与多个源域之间的相关性？
• RQ3 对专家特征施加去相关性是否能增强其提供的互补信息，从而提升泛化能力？
• RQ4 采用关系对齐损失的元学习策略是否能有效训练投票网络，且在训练阶段无需访问目标域数据？
• RQ5 特征融合方法的选择（如拼接 vs. 求和）如何影响最终聚合特征的性能？

主要发现

• RaMoE 在多个标准 ReID 基准上达到最先进性能，mAP 分别为：Market-1501 上 56.5，DukeMTMC-reID 上 56.9，CUHK03 上 35.5，iLIDs 上 13.5（Protocol-3）
• 消融实验表明，移除投票机制会导致性能显著下降，证明了相关性感知特征融合的重要性。
• 去相关损失有效保持了专家之间特征的多样性与判别性，表现为聚合特征性能优于单个专家。
• 仅使用查询集样本在推理阶段计算域相关性，mAP 仅下降 0.2%，证实了投票机制在实际在线场景中的鲁棒性。
• 可视化结果表明，模型学习到了有意义的域相关性，例如 iLIDs 与 MSMT17 和 DukeMTMC-reID 的相关性更高，与视觉相似性一致。