[论文解读] Camera Style Adaptation for Person Re-identification

Zhun Zhong, Liang Zheng+3 more|arXiv (Cornell University)|Nov 28, 2017

Video Surveillance and Tracking Methods参考文献 33被引用 35

一句话总结

本文提出 CamStyle，一种用于行人重识别的相机风格自适应方法，利用 CycleGAN 将训练图像迁移至不同相机风格，从而扩充训练集并减少过拟合。结合标签平滑正则化，该方法在与 Random Erasing 结合时，在 Market-1501 数据集上达到 89.49% 的 rank-1 准确率，性能达到当前最先进水平。

ABSTRACT

Being a cross-camera retrieval task, person re-identification suffers from image style variations caused by different cameras. The art implicitly addresses this problem by learning a camera-invariant descriptor subspace. In this paper, we explicitly consider this challenge by introducing camera style (CamStyle) adaptation. CamStyle can serve as a data augmentation approach that smooths the camera style disparities. Specifically, with CycleGAN, labeled training images can be style-transferred to each camera, and, along with the original training samples, form the augmented training set. This method, while increasing data diversity against over-fitting, also incurs a considerable level of noise. In the effort to alleviate the impact of noise, the label smooth regularization (LSR) is adopted. The vanilla version of our method (without LSR) performs reasonably well on few-camera systems in which over-fitting often occurs. With LSR, we demonstrate consistent improvement in all systems regardless of the extent of over-fitting. We also report competitive accuracy compared with the state of the art.

研究动机与目标

• 解决行人重识别中因相机风格差异导致的模型泛化能力下降问题。
• 通过风格迁移提升训练数据多样性，减少基于深度学习的重识别模型的过拟合。
• 开发一种无需额外人工标注的无监督、相机感知数据增强方法。
• 在不修改主干网络的前提下，提升模型对相机特异性外观变化的鲁棒性。

提出的方法

• 为每对相机训练 CycleGAN 模型，学习不同相机域之间的图像到图像风格迁移。
• 将训练好的 CycleGAN 模型应用于真实训练图像，将其风格迁移以匹配其他相机的外观，生成合成训练样本。
• 将原始图像与风格迁移后的图像合并为增强后的训练集，同时为迁移样本保留原始标签。
• 在训练过程中对风格迁移样本应用标签平滑正则化（LSR），以缓解 CycleGAN 引入的噪声影响。
• 使用标准的重识别基线网络（IDE），结合改进的训练策略，并将 CamStyle 与 Random Erasing 等其他数据增强技术结合。
• 在增强数据集上端到端训练模型，以学习相机不变特征。

实验结果

研究问题

• RQ1 通过基于 CycleGAN 的数据增强实现相机风格自适应，能否提升行人重识别性能？
• RQ2 CycleGAN 引入的噪声对模型性能有何影响，能否被有效缓解？
• RQ3 CamStyle 在少相机和全相机重识别系统中是否均能稳定提升性能？
• RQ4 CamStyle 与随机翻转、裁剪或 Random Erasing 等其他数据增强策略相比表现如何？
• RQ5 CamStyle 是否能与其他现有数据增强技术互补，进一步提升重识别准确率？

主要发现

• 原始 CamStyle 方法在少相机系统中实现了 17.1% 的性能提升，充分证明其在减少过拟合方面的有效性。
• 结合标签平滑正则化（LSR）后，CamStyle 在所有系统中均保持一致的性能提升，无论数据是否稀缺。
• 在 Market-1501 数据集上，CamStyle 与改进的 IDE 基线结合后，达到 88.12% 的 rank-1 准确率。
• 进一步结合 Random Erasing 后，最终模型在 Market-1501 上达到 89.49% 的 rank-1 准确率，优于大多数当前最先进方法。
• 在 DukeMTMC-reID 数据集上，该方法达到 75.27% 的 rank-1 准确率，较基线提升 2.96 个百分点。
• 该方法与其他数据增强技术具有互补性，当结合 CamStyle、Random Erasing 和标准增强（RF+RC）时，性能达到最优。