[论文解读] DGPose: Disentangled Semi-supervised Deep Generative Models for Human Body Analysis.

Rodrigo de, Arnab Ghosh+4 more|arXiv (Cornell University)|Apr 17, 2018

Human Pose and Action Recognition参考文献 39被引用 6

一句话总结

DGPose 提出了一种解耦的半监督变分自编码器，将潜在空间中的姿态与外观分离，用于人体分析，实现无需显式训练的姿态估计与姿态迁移。该模型在 Human3.6M 和 ChictopiaPlus 数据集上表现出稳健性能，显著降低了对标注数据的依赖。

ABSTRACT

Deep generative modelling for robust human body analysis is an emerging problem with many interesting applications, since it enables analysis-by-synthesis and unsupervised learning. However, the latent space learned by such models is typically not human-interpretable, resulting in less flexible models. In this work, we adopt a structured semi-supervised variational auto-encoder approach and present a deep generative model for human body analysis where the pose and appearance are disentangled in the latent space, allowing for pose estimation. Such a disentanglement allows independent manipulation of pose and appearance and hence enables applications such as pose-transfer without being explicitly trained for such a task. In addition, the ability to train in a semi-supervised setting relaxes the need for labelled data. We demonstrate the merits of our generative model on the Human3.6M and ChictopiaPlus datasets.

研究动机与目标

• 解决深度生成模型在人体分析中潜在空间可解释性不足的问题。
• 在半监督设置下实现姿态与外观的解耦表征学习。
• 在无需特定任务微调的情况下支持姿态估计与姿态迁移。
• 通过利用弱监督和未标注数据，降低对大规模标注数据集的依赖。

提出的方法

• 采用结构化半监督变分自编码器（ssVAE），在潜在空间中联合建模姿态与外观的解耦。
• 引入解耦潜在空间，通过结构化推理显式分离姿态与外观因子。
• 利用弱监督关键点标注和大量未标注图像进行模型训练。
• 采用分层潜在结构独立建模姿态与外观，实现可控生成与操作。
• 使用对抗性训练和重建损失以提升生成质量和解耦效果。
• 应用基于关键点监督的推理网络，引导解耦表征学习。

实验结果

研究问题

• RQ1 深度生成模型能否学习到一个解耦的潜在空间，将人体表征中的姿态与外观有效分离？
• RQ2 该模型在未显式为该任务进行训练的情况下，姿态估计性能如何？
• RQ3 半监督学习在多大程度上减少了人体分析中对大规模标注数据的需求？
• RQ4 该模型能否在不重新训练的情况下实现零样本姿态迁移？

主要发现

• 解耦潜在空间支持姿态与外观的独立操作，实现无需重训练的姿态迁移。
• 仅使用弱监督和未标注数据，该模型在 Human3.6M 上实现了具有竞争力的姿态估计性能。
• 半监督训练显著减少了对全标注数据的需求，同时保持了高质量的生成能力。
• 该模型在未见身份和姿态上泛化良好，展现出零样本迁移能力。
• 在 ChictopiaPlus 上的定量结果表明，与基线 VAE 相比，其解耦效果和重建保真度均有提升。
• 该方法能够生成多样且逼真的人体图像，且可对姿态和外观属性进行精确控制。