[论文解读] Rethinking the Distribution Gap of Person Re-identification with Camera-based Batch Normalization

Zijie Zhuang, Longhui Wei+6 more|arXiv (Cornell University)|Jan 23, 2020

Video Surveillance and Tracking Methods参考文献 58被引用 6

一句话总结

本文提出了一种基于相机的批量归一化（CBN）方法，通过在训练和测试阶段对每个相机的输入进行标准化，实现跨所有相机的特征分布对齐。通过显式缩小相机间的分布差距，CBN实现了对未见相机的强大泛化能力，并仅使用相机内标注即可实现具有竞争力的ReID性能，在直接迁移任务中最高提升14.2%的Rank-1准确率，在增量学习中减少9.7%的遗忘率。

ABSTRACT

The fundamental difficulty in person re-identification (ReID) lies in learning the correspondence among individual cameras. It strongly demands costly inter-camera annotations, yet the trained models are not guaranteed to transfer well to previously unseen cameras. These problems significantly limit the application of ReID. This paper rethinks the working mechanism of conventional ReID approaches and puts forward a new solution. With an effective operator named Camera-based Batch Normalization (CBN), we force the image data of all cameras to fall onto the same subspace, so that the distribution gap between any camera pair is largely shrunk. This alignment brings two benefits. First, the trained model enjoys better abilities to generalize across scenarios with unseen cameras as well as transfer across multiple training sets. Second, we can rely on intra-camera annotations, which have been undervalued before due to the lack of cross-camera information, to achieve competitive ReID performance. Experiments on a wide range of ReID tasks demonstrate the effectiveness of our approach. The code is available at https://github.com/automan000/Camera-based-Person-ReID.

研究动机与目标

• 解决行人重识别（ReID）中相机间分布差距的根本性挑战，该问题限制了模型的泛化能力和可迁移性。
• 通过仅依赖成本高昂的相机间标注来实现有效学习，从而克服对昂贵相机间标注的依赖。
• 通过显式对齐相机特定的特征分布，提升模型在未见相机和数据集上的泛化能力和迁移性能。
• 提出一种基于相机的公式化方法，将ReID学习与数据集特定的相机相关性解耦，从而增强模型的鲁棒性和可扩展性。

提出的方法

• 提出基于相机的批量归一化（CBN），一种改进的批量归一化变体，通过在训练期间使用相机特定的批量统计量对输入特征进行标准化。
• 在推理阶段，CBN仅使用每个相机的少量样本估算相机特定的统计量，以将测试输入与每个相机的训练分布对齐。
• 将CBN应用于主干网络中的所有批量归一化层，以确保所有层和特征层次间的一致分布对齐。
• 在增量学习中采用混合采样策略，将当前训练数据与一个小型样本记忆库（包含每个身份每张相机的一张图像）融合，以保留知识。
• 设计一种贪心的样本记忆库构建算法，通过平衡相机覆盖范围和身份表征，实现在最小化内存大小的同时最大化知识保留。
• 将所有BN层替换为CBN层，以确保网络中分布对齐的一致性，因为部分替换会破坏基于相机的归一化核心原则。

实验结果

研究问题

• RQ1 通过在训练和推理阶段对每个相机进行归一化，能否有效减小行人重识别中相机间的分布差距？
• RQ2 在缺乏相机间标注的情况下，仅使用相机内标注在多大程度上能够实现具有竞争力的ReID性能？
• RQ3 与传统批量归一化相比，CBN在提升模型在未见相机和数据集上的泛化能力和可迁移性方面表现如何？
• RQ4 将所有BN层替换为CBN层对增量学习性能和知识保留有何影响？
• RQ5 所提出的基于相机的公式化方法能否在无需相机间标注的情况下实现有效的域自适应和直接迁移？

主要发现

• 在从Duke直接迁移到Market-1501的任务中，CBN在Rank-1准确率上实现了14.2%的相对提升，优于标准BN和AdaBN。
• 在增量学习中，与基于传统BN的方法相比，CBN方法在Rank-1准确率上减少了9.7%的遗忘。
• 即使没有相机间标注，仅使用相机内标注的弱监督流程在多个ReID数据集上也实现了具有竞争力的性能。
• 将所有BN层替换为CBN层可获得最佳性能，在直接迁移任务中达到72.7%的Rank-1准确率，而部分替换则导致次优结果。
• 通过贪心算法构建的样本记忆库仅保留原始训练集大小的3.4%至5.5%，同时有效保留了持续学习的关键知识。
• 大量实验证实，CBN在完全监督、域自适应、直接迁移和增量学习任务中均显著提升了泛化能力和可迁移性。