[论文解读] Weakly Supervised Generative Network for Multiple 3D Human Pose Hypotheses

Chen Li, Gim Hee Lee|arXiv (Cornell University)|Aug 13, 2020

Human Pose and Action Recognition参考文献 33被引用 14

一句话总结

该论文提出了一种弱监督深度生成网络，通过建模提议分布并最小化KL散度来近似多模态后验分布，从而从单张2D图像生成多个3D人体姿态假设。该方法使用2D重投影损失和类似GAN的先验配合多样性正则化，在无需2D到3D真实对应关系的情况下，在Human3.6M、MPII和MPI-INF-3DHP数据集上实现了最先进性能。

ABSTRACT

3D human pose estimation from a single image is an inverse problem due to the inherent ambiguity of the missing depth. Several previous works addressed the inverse problem by generating multiple hypotheses. However, these works are strongly supervised and require ground truth 2D-to-3D correspondences which can be difficult to obtain. In this paper, we propose a weakly supervised deep generative network to address the inverse problem and circumvent the need for ground truth 2D-to-3D correspondences. To this end, we design our network to model a proposal distribution which we use to approximate the unknown multi-modal target posterior distribution. We achieve the approximation by minimizing the KL divergence between the proposal and target distributions, and this leads to a 2D reprojection error and a prior loss term that can be weakly supervised. Furthermore, we determine the most probable solution as the conditional mode of the samples using the mean-shift algorithm. We evaluate our method on three benchmark datasets -- Human3.6M, MPII and MPI-INF-3DHP. Experimental results show that our approach is capable of generating multiple feasible hypotheses and achieves state-of-the-art results compared to existing weakly supervised approaches. Our source code is available at the project website.

研究动机与目标

• 解决单目图像中3D人体姿态估计的逆问题，由于深度模糊性，该问题本质上存在多个可行解。
• 通过引入弱监督学习框架，克服强监督方法依赖昂贵2D到3D对应关系的局限性。
• 生成与2D关键点观测一致且具有人体结构特性的多样化、逼真的3D姿态假设。
• 通过引入显式多样性促进损失，防止生成模型中的模式崩溃。
• 在Human3.6M、MPII和MPI-INF-3DHP等基准数据集上，实现弱监督方法中的最先进性能。

提出的方法

• 使用以2D姿态输入为条件的深度生成网络建模提议分布，潜在码从标准正态分布中采样。
• 通过联合优化2D重投影误差和先验项的损失，最小化提议分布与未知目标后验分布之间的KL散度。
• 使用基于最大均值差异（MMD）的判别器，强制生成的3D姿态具有人体特征和逼真性。
• 引入两项额外损失——$/\mathcal{L}_{\text{reg}}$ 和 $/\mathcal{L}_{\text{rec}}$——显式促进多样性并防止生成假设中的模式崩溃。
• 使用均值漂移算法估计生成样本的条件众数，作为最可能的3D姿态。
• 提出一种时间效率更高的变体，通过零潜在码输入的输出近似条件众数。

实验结果

研究问题

• RQ1 弱监督深度生成模型能否在无需2D到3D真实标注的情况下，有效生成多个合理的3D人体姿态假设？
• RQ2 模型如何仅通过弱监督从单张2D图像近似3D姿态的多模态后验分布？
• RQ3 多样性促进损失在多大程度上提升了生成3D姿态假设的质量与多样性？
• RQ4 所提方法在MPII和MPI-INF-3DHP等多样化场景和数据集上的泛化能力如何？
• RQ5 均值漂移算法与零潜在码近似能否有效从生成假设中识别出最可能的3D姿态？

主要发现

• 在Human3.6M数据集上，该方法在最佳假设（BH）设置下实现了31.6毫米的MPJPE，优于现有弱监督方法。
• 包含多样性正则化（$/\mathcal{L}_{\text{reg}}$ 和 $/\mathcal{L}_{\text{rec}}$）的完整模型，其标准差（STD）为77.4，STD-FPS为122.3，表明生成姿态具有高度多样性。
• 移除多样性损失后，STD降至3.6，STD-FPS降至4.8，证实其在防止模式崩溃和促进多样性方面起着关键作用。
• 该模型在无约束户外场景中泛化良好，在MPI-INF-3DHP数据集上BH设置下达到85.0%的PCK，优于先前的弱监督方法。
• 消融实验表明，增加权重 $ heta_{\text{reg}}$ 可提升多样性，但超过某一临界点后会降低精度，表明多样性与精度之间存在权衡。
• 在MPII上的定性结果表明，生成的3D姿态具有多样性，且其2D重投影与输入2D关键点高度对齐，验证了多解一致性。