[论文解读] Human Mesh Recovery from Monocular Images via a Skeleton-disentangled Representation

Yu Sun, Yun Ye+4 more|arXiv (Cornell University)|Aug 20, 2019

Human Pose and Action Recognition参考文献 37被引用 13

一句话总结

该论文提出了一种用于从单目图像和视频中端到端恢复3D人体网格的骨骼解耦表示框架。通过可插拔的DSD模块将骨骼姿态与身体形状细节解耦，并结合无监督顺序恢复的自注意力时间网络（SATN），该方法实现了最先进性能，在Human3.6M数据集上相比之前的方法将MPJPE降低了15.4%，PA-MPJPE降低了23.8%。

ABSTRACT

We describe an end-to-end method for recovering 3D human body mesh from single images and monocular videos. Different from the existing methods try to obtain all the complex 3D pose, shape, and camera parameters from one coupling feature, we propose a skeleton-disentangling based framework, which divides this task into multi-level spatial and temporal granularity in a decoupling manner. In spatial, we propose an effective and pluggable "disentangling the skeleton from the details" (DSD) module. It reduces the complexity and decouples the skeleton, which lays a good foundation for temporal modeling. In temporal, the self-attention based temporal convolution network is proposed to efficiently exploit the short and long-term temporal cues. Furthermore, an unsupervised adversarial training strategy, temporal shuffles and order recovery, is designed to promote the learning of motion dynamics. The proposed method outperforms the state-of-the-art 3D human mesh recovery methods by 15.4% MPJPE and 23.8% PA-MPJPE on Human3.6M. State-of-the-art results are also achieved on the 3D pose in the wild (3DPW) dataset without any fine-tuning. Especially, ablation studies demonstrate that skeleton-disentangled representation is crucial for better temporal modeling and generalization.

研究动机与目标

• 解决由于严重姿态-形状模糊性和信息丢失，导致从单张2D图像中恢复3D人体网格所固有的模糊性和复杂性。
• 克服端到端方法中3D姿态、形状和相机参数在共享特征空间中紧密耦合所导致的不稳定性与泛化能力差的问题。
• 通过解耦的骨骼表示，提升单目视频序列中的时间建模能力，实现对运动动态更优的学习。
• 开发一种轻量级、即插即用的模块，在无需架构重构的前提下，同时增强单帧和基于视频的3D网格恢复性能。
• 通过无监督时间监督（基于帧序恢复）实现对未受限、真实场景设置下鲁棒的3D网格预测。

提出的方法

• 引入DSD（将骨骼从细节中解耦）模块，利用双线性变换以可学习、可插拔的方式将骨骼姿态特征与身体形状及细节特征解耦。
• 应用自注意力时间卷积网络（SATN），结合自注意力机制实现长程序列建模，同时利用TCN实现高效的短期时间特征学习。
• 设计一种基于时间顺序打乱与顺序恢复的无监督对抗训练策略，以在无真实时间监督的情况下学习运动动态。
• 仅使用2D关键点监督和3D网格监督，端到端训练整个网络，其中DSD模块实现稳定且解耦的特征学习。
• 采用双流特征提取头，独立处理骨骼与细节特征，随后在DSD模块中进行双线性融合。
• 将帧序恢复作为预训练任务：将打乱顺序的视频片段输入网络，模型通过判别器学习预测正确的时序顺序。

实验结果

研究问题

• RQ1 将骨骼姿态与身体形状细节解耦，是否能提升从单目图像中恢复3D人体网格的准确性和稳定性？
• RQ2 所提出的DSD模块在减少特征耦合并提升在多样化姿态与形状下的泛化能力方面效果如何？
• RQ3 当与TCN结合时，自注意力机制是否能有效提升基于视频的3D网格恢复中的长期时间建模能力？
• RQ4 在缺乏显式时间监督的情况下，无监督的时间顺序恢复是否能有效促进运动动态的学习？
• RQ5 骨骼解耦在多大程度上提升了视频序列中时间建模的性能？

主要发现

• 与HMR相比，所提出的DSD模块在Human3.6M数据集上将MPJPE降低31.6%，PA-MPJPE降低23.7%，显著优于端到端基线方法。
• DSD模块相比STN在MPJPE上提升14%，PA-MPJPE提升27.9%，证实其在解耦姿态与形状方面对提升网格恢复效果的有效性。
• 在单帧DSD网络中引入SATN后，在Human3.6M上使MPJPE和PA-MPJPE分别降低4.2%和7.3%；在3DPW上甚至获得7.3%的PA-MPJPE提升。
• 消融实验证实，骨骼解耦至关重要：若DSD+TCN不使用自注意力，性能下降；但加入自注意力后性能显著回升，实现强大的长程建模能力。
• 完整模型（DSD+SATN+对抗训练）在Human3.6M上相比仅骨干网络的基线，实现MPJPE降低26.6%和PA-MPJPE降低27.5%。
• 定性和消融研究显示，DSD可实现稳定、平滑的预测，并能正确响应骨骼替换，证明其对姿态与细节的解耦效果显著。