[论文解读] Disentangling Latent Hands for Image Synthesis and Pose Estimation

Linlin Yang, Angela Yao|arXiv (Cornell University)|Dec 3, 2018

Human Pose and Action Recognition参考文献 40被引用 13

一句话总结

该论文提出了一种解耦变分自编码器（dVAE），在共享潜在空间中学习独立且可解释的可变因素——如手部姿态、视角和背景内容——用于RGB手部图像生成与3D姿态估计。该模型实现了对这些因素的显式控制，在弱监督或半监督学习下实现了最先进的3D手部姿态估计精度，同时生成了逼真且可控的手部图像。

ABSTRACT

Hand image synthesis and pose estimation from RGB images are both highly challenging tasks due to the large discrepancy between factors of variation ranging from image background content to camera viewpoint. To better analyze these factors of variation, we propose the use of disentangled representations and a disentangled variational autoencoder (dVAE) that allows for specific sampling and inference of these factors. The derived objective from the variational lower bound as well as the proposed training strategy are highly flexible, allowing us to handle cross-modal encoders and decoders as well as semi-supervised learning scenarios. Experiments show that our dVAE can synthesize highly realistic images of the hand specifiable by both pose and image background content and also estimate 3D hand poses from RGB images with accuracy competitive with state-of-the-art on two public benchmarks.

研究动机与目标

• 为解决由于姿态、视角和背景等因素导致的RGB手部图像高变异性问题，这些因素会妨碍准确的图像合成与姿态估计。
• 开发一种解耦表征学习框架，实现在手部图像生成中对各个可变因素的显式控制。
• 通过弱监督或半监督学习（仅使用有限的3D标注）实现从单张RGB图像中准确估计3D手部姿态。
• 在单一生成模型中统一图像合成、姿态迁移与3D姿态估计，该模型具有解耦且可解释的潜在表征。
• 探索在灵活的变分推理框架中使用跨模态编码器与解码器，支持多种学习范式。

提出的方法

• 该方法采用一种解耦变分自编码器（dVAE），将潜在空间分解为对应于不同因素的独立子空间：姿态、视角、背景内容和图像内容。
• 使用变分下界目标函数，并采用一种将多个潜在空间融合为单一解耦表征的训练策略，支持联合推理与采样。
• 该模型支持跨模态编码器与解码器，允许从RGB图像、3D姿态和视角标签中联合学习。
• 引入两种学习变体：一种用于独立标签，另一种用于混淆标签，从而在不同监督设置下提供灵活性。
• 解耦的潜在空间支持条件采样：用户可独立指定姿态与背景内容，以生成逼真的手部图像。
• 通过利用未标注数据和部分标签（如仅视角）支持半监督与弱监督学习，从而提升3D姿态估计性能。

实验结果

研究问题

• RQ1 解耦VAE模型能否在RGB手部图像中学习到独立且可解释的可变因素，如姿态、视角和背景内容？
• RQ2 dVAE能否在显式控制姿态与背景内容等多重可变因素的前提下，生成高度逼真的手部图像？
• RQ3 与最先进的方法相比，解耦表征是否能提升真实世界RGB基准数据集上的3D手部姿态估计精度？
• RQ4 该模型在半监督3D姿态估计中，能在多大程度上利用未标注或弱标注数据？
• RQ5 即使在训练过程中未提供显式背景标签，该模型是否仍能有效解耦各类因素？

主要发现

• dVAE在3D手部姿态估计方面达到具有竞争力的性能，平均端点误差（EPE）接近最先进的方法[25]，且在RHD和STB数据集上3D PCK得分略优。
• 在RHD数据集上，当使用完整标签（CPose、3DPose、视角）时，模型将平均EPE降低了最多3.5%；在弱监督设置下仅使用视角标签时，降低幅度最高达7.5%。
• 该模型成功生成了逼真的手部图像，且可显式控制姿态与背景内容，即使在未提供显式背景标签的情况下训练亦可实现。
• dVAE在半监督学习中表现出强大的泛化能力，在仅使用5%完全标注数据时即展现出显著的性能提升。
• 尽管架构更简单且无深度监督，该模型在CPose与3DPose估计方面仍优于[40]。
• 结果表明，解耦表征同时增强了生成与推理能力，在保持图像生成可控性的同时实现了高精度的姿态估计。