[论文解读] Surpassing Real-World Source Training Data: Random 3D Characters for Generalizable Person Re-Identification

Yanan Wang, Shengcai Liao+1 more|arXiv (Cornell University)|Jun 23, 2020

Video Surveillance and Tracking Methods参考文献 31被引用 6

一句话总结

本文提出 RandPerson，一个通过在 Unity3D 中自动化生成 3D 角色与虚拟监控环境而创建的大规模合成行人重识别数据集。在 RandPerson 上进行训练的模型在 Market-1501、DukeMTMC-reID 和 MSMT17 等真实世界基准测试中超越了当前最先进水平，表明合成数据可实现优于真实世界训练数据的泛化能力。

ABSTRACT

Person re-identification has seen significant advancement in recent years. However, the ability of learned models to generalize to unknown target domains still remains limited. One possible reason for this is the lack of large-scale and diverse source training data, since manually labeling such a dataset is very expensive and privacy sensitive. To address this, we propose to automatically synthesize a large-scale person re-identification dataset following a set-up similar to real surveillance but with virtual environments, and then use the synthesized person images to train a generalizable person re-identification model. Specifically, we design a method to generate a large number of random UV texture maps and use them to create different 3D clothing models. Then, an automatic code is developed to randomly generate various different 3D characters with diverse clothes, races and attributes. Next, we simulate a number of different virtual environments using Unity3D, with customized camera networks similar to real surveillance systems, and import multiple 3D characters at the same time, with various movements and interactions along different paths through the camera networks. As a result, we obtain a virtual dataset, called RandPerson, with 1,801,816 person images of 8,000 identities. By training person re-identification models on these synthesized person images, we demonstrate, for the first time, that models trained on virtual data can generalize well to unseen target images, surpassing the models trained on various real-world datasets, including CUHK03, Market-1501, DukeMTMC-reID, and almost MSMT17. The RandPerson dataset is available at https://github.com/VideoObjectSearch/RandPerson.

研究动机与目标

• 为解决行人重识别模型在未见目标域上泛化能力有限的问题，原因在于真实世界训练数据中多样性与规模不足。
• 克服人工标注大规模真实世界行人重识别数据集所带来的高昂成本与隐私担忧。
• 开发一种可扩展的自动化流水线，用于生成多样化的 3D 角色与虚拟监控环境，以支持合成数据生成。
• 评估仅在合成数据上训练的模型是否能比在真实世界数据上训练的模型具有更好的泛化能力。
• 证明合成数据可作为真实数据的补充，甚至在行人重识别任务中表现更优。

提出的方法

• 通过自动生成随机 UV 贴图，创建多样化的 3D 服装模型以实现角色合成。
• 开发自动化代码库，利用程序化生成技术创建 8,000 个具有不同种族、属性与服饰的唯一 3D 角色。
• 在 Unity3D 中模拟逼真的虚拟环境，包括室内与室外场景，涵盖不同光照、背景与分辨率。
• 部署多摄像头网络，模拟真实监控系统，捕捉多个 3D 角色在不同路径上的同步运动。
• 渲染 1,801,816 张来自 8,000 个身份的行人图像，覆盖多样化视角、姿态、遮挡与环境条件。
• 仅在合成的 RandPerson 数据集上训练行人重识别模型，并在真实世界基准上进行评估。

实验结果

研究问题

• RQ1 仅在合成数据上训练的行人重识别模型是否能比在真实世界数据上训练的模型具有更好的泛化能力？
• RQ2 将 RandPerson 的合成数据引入真实世界数据集训练中，对模型性能有何影响？
• RQ3 合成数据中环境多样性与身份数量在多大程度上影响模型的泛化能力？
• RQ4 RandPerson 中的合成数据分布是否能有效覆盖真实世界监控中出现的领域差异？
• RQ5 与单人、单摄像头数据相比，具有复杂多人群、多摄像头场景的合成数据是否能提升模型的鲁棒性？

主要发现

• 仅在 RandPerson 合成数据集上训练的模型，在跨数据集评估中表现优于在 CUHK03、Market-1501、DukeMTMC-reID 甚至接近 MSMT17 等真实世界数据集上训练的模型。
• 当与真实世界数据集融合时，RandPerson 在多个基准上将 Rank-1 准确率提升 5.2% 至 24.9%，mAP 提升 2.8% 至 19.6%。
• 即使在同一领域内，仅使用 RandPerson 训练的模型相比仅使用 CUHK03 训练的模型，Rank-1 准确率提升 28.9%，mAP 提升 24.6%。
• 在与真实世界数据融合后，仅在 RandPerson 上训练的模型性能最高提升 13.4%（Rank-1）与 12.7%（mAP），证实了其互补优势。
• 随着 RandPerson 中场景与身份数量的增加，性能持续提升，但在达到一定数量后出现饱和，且在 MSMT17 上因领域差距出现过拟合现象。
• 结果证实，具有多样化、多人群、多摄像头监控模拟的合成数据可有效减少领域偏移，并增强模型泛化能力。