[论文解读] Disentangled Person Image Generation

Liqian Ma, Qianru Sun+4 more|arXiv (Cornell University)|Dec 7, 2017

Video Surveillance and Tracking Methods参考文献 40被引用 21

一句话总结

本文提出了一种两阶段生成框架，用于解耦的人像合成，通过多分支重建网络学习前景、背景和姿态的独立表征，随后通过对抗性学习噪声到嵌入映射。该方法实现了可控的图像生成与操作，在使用合成数据进行行人重识别时达到了最先进性能。

ABSTRACT

Generating novel, yet realistic, images of persons is a challenging task due to the complex interplay between the different image factors, such as the foreground, background and pose information. In this work, we aim at generating such images based on a novel, two-stage reconstruction pipeline that learns a disentangled representation of the aforementioned image factors and generates novel person images at the same time. First, a multi-branched reconstruction network is proposed to disentangle and encode the three factors into embedding features, which are then combined to re-compose the input image itself. Second, three corresponding mapping functions are learned in an adversarial manner in order to map Gaussian noise to the learned embedding feature space, for each factor respectively. Using the proposed framework, we can manipulate the foreground, background and pose of the input image, and also sample new embedding features to generate such targeted manipulations, that provide more control over the generation process. Experiments on Market-1501 and Deepfashion datasets show that our model does not only generate realistic person images with new foregrounds, backgrounds and poses, but also manipulates the generated factors and interpolates the in-between states. Another set of experiments on Market-1501 shows that our model can also be beneficial for the person re-identification task.

研究动机与目标

• 通过显式解耦图像因素（如前景、背景和姿态）实现可控的逼真人像生成。
• 开发一种两阶段框架，为每个解耦因素学习可操作的嵌入特征。
• 通过将高斯噪声映射到学习到的嵌入空间，生成高质量且多样化的行人图像，支持新颖组合的采样。
• 在行人重识别任务上评估解耦表征，证明其判别能力。
• 通过解耦生成构建合成虚拟市场数据集（VM），用于重识别，减少对人工标注数据的依赖。

提出的方法

• 一个多分支重建网络将输入行人图像编码为前景、背景和姿态的解耦嵌入特征，然后从这些特征重建原始图像。
• 在第二阶段，训练三个独立的映射函数，通过对抗性学习将标准高斯噪声映射到每个因素的学习嵌入特征分布。
• 生成器由第一阶段的预训练编码器和解码器引导，确保生成图像的一致性和逼真度。
• 应用对抗性训练，使真实嵌入特征分布（来自输入图像）与虚假特征分布（来自噪声）相匹配。
• 通过从学习到的嵌入空间采样，实现对各因素的独立或联合操作。
• 通过固定前景特征并改变背景和姿态特征，生成合成训练对，构建虚拟 Market-1501 数据集（VM）。

实验结果

研究问题

• RQ1 前景、背景和姿态的解耦表征是否能实现可控的行人图像生成？
• RQ2 噪声到嵌入映射的对抗性学习是否能生成逼真且多样化的行人图像？
• RQ3 解耦嵌入特征是否可用于提升行人重识别性能？
• RQ4 通过解耦操作生成的合成图像对能否作为重识别模型的有效训练数据？
• RQ5 与现有无监督或手工设计的特征提取器相比，解耦特征在重识别任务中的质量如何？

主要发现

• 仅使用 BodyROI7 特征提取器，该模型在 Market-1501 数据集上实现了最先进性能，rank-1 准确率为 0.338，mAP 为 0.107。
• 当使用 PCA 降低特征维度时，模型性能提升至 rank-1 准确率 0.355，优于 WholeBody 模型，并接近监督基线模型。
• 通过解耦采样生成的虚拟市场（VM）数据集在重识别任务中达到 rank-1 准确率 0.338，与在 DukeReID 人类标注数据上训练的模型性能相当。
• 在渐进式无监督学习（PUL）设置下，基于 VM 数据训练的模型达到 rank-1 准确率 0.369，超过在 CUHK03 和 DukeReID 数据集上训练的模型性能。
• 使用 KISSME 度量与 VM 数据结合，模型达到 rank-1 准确率 0.375，表明合成数据可达到甚至超越真实标注数据的性能。
• 解耦特征不仅具有生成能力，还具备判别能力，这从其在行人重识别任务中的优异表现中得到证实。