[论文解读] Debiased Batch Normalization via Gaussian Process for Generalizable Person Re-Identification

Jiawei Liu, Zhipeng Huang+3 more|arXiv (Cornell University)|Mar 3, 2022

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出 GDNorm，一种用于可泛化行人重识别的新型去偏批量归一化方法，通过将特定领域的批量归一化统计量建模为动态自我优化的高斯过程，以减少对未见领域的偏差。通过在推理中利用高斯过程的均值路径，GDNorm 以极低的计算成本提升了泛化性能，在未见领域上相比基线方法实现了 2.8% 的 R1 提升和 4.7% 的 mAP 改进。

ABSTRACT

Generalizable person re-identification aims to learn a model with only several labeled source domains that can perform well on unseen domains. Without access to the unseen domain, the feature statistics of the batch normalization (BN) layer learned from a limited number of source domains is doubtlessly biased for unseen domain. This would mislead the feature representation learning for unseen domain and deteriorate the generalizaiton ability of the model. In this paper, we propose a novel Debiased Batch Normalization via Gaussian Process approach (GDNorm) for generalizable person re-identification, which models the feature statistic estimation from BN layers as a dynamically self-refining Gaussian process to alleviate the bias to unseen domain for improving the generalization. Specifically, we establish a lightweight model with multiple set of domain-specific BN layers to capture the discriminability of individual source domain, and learn the corresponding parameters of the domain-specific BN layers. These parameters of different source domains are employed to deduce a Gaussian process. We randomly sample several paths from this Gaussian process served as the BN estimations of potential new domains outside of existing source domains, which can further optimize these learned parameters from source domains, and estimate more accurate Gaussian process by them in return, tending to real data distribution. Even without a large number of source domains, GDNorm can still provide debiased BN estimation by using the mean path of the Gaussian process, while maintaining low computational cost during testing. Extensive experiments demonstrate that our GDNorm effectively improves the generalization ability of the model on unseen domain.

研究动机与目标

• 解决在未见领域测试时行人重识别中的领域分布偏移问题，且无需访问目标领域数据。
• 克服因源领域有限导致批量归一化统计量引入的偏差，从而阻碍模型泛化。
• 通过将特定领域的 BN 参数建模为自我优化的高斯过程，近似真实数据分布，从而提升泛化性能。
• 与集成方法相比降低计算成本，同时在未见领域保持或提升性能。
• 在领域泛化设置下，实现开放集检索中有效特征表示学习。

提出的方法

• 在每个源领域上训练多个特定领域的批量归一化层，以捕捉独特的领域特征。
• 将这些特定领域 BN 层的参数作为观测值，学习一个建模领域统计量潜在分布的高斯过程。
• 通过从高斯过程中采样路径，动态自我优化高斯过程，利用采样路径在反馈循环中重新优化源领域 BN 参数。
• 利用高斯过程的均值路径估计未见领域的最优 BN 统计量，该路径代表了未见领域最可能的分布。
• 在推理过程中应用均值路径作为 BN 层参数，避免训练或部署多个模型的需要。
• 通过损失函数中的采样比例 λ 控制自我优化过程，以平衡特定领域与全局统计量。

实验结果

研究问题

• RQ1 将批量归一化统计量建模为高斯过程是否能减少行人重识别中未见领域特征表示的偏差？
• RQ2 高斯过程的自我优化机制如何提升对未见领域 BN 统计量估计的准确性？
• RQ3 将高斯过程的均值路径用作 BN 估计器，是否在泛化性能上优于单个特定领域模型或集成方法？
• RQ4 在自我优化过程中，特定领域与全局统计量之间的最优权衡是什么，由采样比例 λ 控制？
• RQ5 GDNorm 是否能在仅有少量源领域的情况下实现最先进性能并保持低推理成本？

主要发现

• 在 Protocol-2 下，GDNorm 相较于基线方法在未见领域上实现了 2.8% 的 R1 准确率提升和 4.7% 的 mAP 提升。
• 高斯过程的均值路径实现了最佳平均性能，优于单个特定领域模型（如 D、MT、C3）和采样路径。
• 最优采样比例 λ 为 0.6，此时模型达到 86.5% 的 R1 和 68.2% 的 mAP，当 λ 超过 0.6 时性能开始下降。
• GDNorm 的推理时间仅为每批次 0.09 秒，仅为包含三个特定领域网络的集成模型的三分之一。
• 自我优化机制通过迭代使用采样路径优化 BN 参数，显著提升了高斯过程估计的准确性。
• 即使源领域数量较少，该方法仍能保持强大的泛化能力，展现出对数据有限情况的鲁棒性。