[论文解读] Calibrated Feature Decomposition for Generalizable Person Re-Identification

Kecheng Zheng, Jiawei Liu+3 more|arXiv (Cornell University)|Nov 27, 2021

Video Surveillance and Tracking Methods参考文献 42被引用 4

一句话总结

本文提出了一种校准特征分解（CFD）模块，用于实现域泛化的人重识别，该模块将特征分解为与身份相关、与域相关以及纠缠的三类成分。通过引入校准批量归一化（CSBN）和校准实例归一化（CIN），CFD增强了特征的判别能力与泛化性能，在多个基准测试中实现了最先进性能，显著优于先前方法。

ABSTRACT

Existing disentangled-based methods for generalizable person re-identification aim at directly disentangling person representations into domain-relevant interference and identity-relevant feature. However, they ignore that some crucial characteristics are stubbornly entwined in both the domain-relevant interference and identity-relevant feature, which are intractable to decompose in an unsupervised manner. In this paper, we propose a simple yet effective Calibrated Feature Decomposition (CFD) module that focuses on improving the generalization capacity for person re-identification through a more judicious feature decomposition and reinforcement strategy. Specifically, a calibrated-and-standardized Batch normalization (CSBN) is designed to learn calibrated person representation by jointly exploring intra-domain calibration and inter-domain standardization of multi-source domain features. CSBN restricts instance-level inconsistency of feature distribution for each domain and captures intrinsic domain-level specific statistics. The calibrated person representation is subtly decomposed into the identity-relevant feature, domain feature, and the remaining entangled one. For enhancing the generalization ability and ensuring high discrimination of the identity-relevant feature, a calibrated instance normalization (CIN) is introduced to enforce discriminative id-relevant information, and filter out id-irrelevant information, and meanwhile the rich complementary clues from the remaining entangled feature are further employed to strengthen it. Extensive experiments demonstrate the strong generalization capability of our framework. Our models empowered by CFD modules significantly outperform the state-of-the-art domain generalization approaches on multiple widely-used benchmarks. Code will be made public: https://github.com/zkcys001/CFD.

研究动机与目标

• 解决现有基于解耦方法在人重识别中无法处理跨域顽固纠缠特征的局限性。
• 在源域与目标域具有可变身份数量的开放集域泛化设置下，提升模型的泛化能力。
• 提出一种更合理的特征分解策略，将特征分离为与身份相关、与域相关以及纠缠的成分，而非假设实现完美解耦。
• 引入归一化技术（CSBN与CIN）以引导并强化特征分解，实现更好的域不变表示学习。
• 在不依赖域特定模型集成或复杂元学习机制的前提下，在多个基准上实现最先进性能。

提出的方法

• 提出一种校准特征分解（CFD）模块，将特征分解为三类：与身份相关、与域相关以及剩余的纠缠特征。
• 设计校准并标准化的批量归一化（CSBN），以实现域内一致性与域间标准化，捕捉域特定统计信息的同时稳定特征分布。
• 引入校准实例归一化（CIN），通过过滤与身份无关的信息，增强与身份相关特征的判别能力。
• 使用通道注意力（CBAM风格）引导特征分解，消融实验表明联合空间与通道注意力（SC）性能最佳。
• 在训练过程中引入域损失以指导分解过程，通过域间对齐提升泛化能力。
• 将CFD模块集成到ResNeXt-50-MSL主干网络的所有阶段，消融实验表明在所有阶段应用时性能最优。

实验结果

研究问题

• RQ1 更细致的特征分解策略——即分离身份、域与纠缠成分——是否能在人重识别中超越标准解耦方法，实现更好的泛化性能？
• RQ2 校准归一化技术（CSBN与CIN）如何影响未见域中分解特征的质量与泛化能力？
• RQ3 在训练过程中引入域损失是否能提升CFD中特征分解的有效性？
• RQ4 不同注意力机制（空间、通道或联合）对CFD模块性能有何影响？
• RQ5 CFD在开放集、可变身份数量的基准上，相较于现有域泛化方法，性能提升程度如何？

主要发现

• 采用CSBN与CIN的CFD模型在CS+MT+C3→M基准上达到87.18%的rank-1准确率与69.98%的mAP，显著优于基线模型。
• 在主干网络全部四个阶段集成CFD可获得最佳性能，证明深度集成的重要性。
• 消融实验确认域损失可提升CFD性能，当加入CFD模型后，mAP绝对提升2.38%。
• 联合空间与通道注意力（SC）性能最高（R1为73.11%，mAP为88.87%），优于仅空间或仅通道注意力。
• t-SNE可视化结果表明，CFD减小了域间差异并提升了跨域紧凑性，尤其在未见数据集如VIPeR、PRID、GRID与i-LIDS上表现显著。
• 特征图可视化显示，CFD增强了显著身体区域的与身份相关特征，同时保留了与域相关的响应，体现了纠缠特征的持续存在。