[论文解读] Human Pose Estimation from Depth Images via Inference Embedded Multi-task Learning

Keze Wang, Shengfu Zhai+3 more|arXiv (Cornell University)|Aug 13, 2016

Human Pose and Action Recognition参考文献 39被引用 4

一句话总结

本文提出了一种嵌入推理的多任务深度学习框架，用于从深度图像中进行人体姿态估计，结合了全卷积网络（FCN）用于热图预测，以及一种新颖的MatchNet，该MatchNet将动态规划推理嵌入其中，以联合优化外观匹配与3D运动学兼容性。该方法在具有挑战性的深度数据上实现了最先进（SOTA）的准确率，优于现有的SDK和方法，且比同类计算密集型方法快190倍。

ABSTRACT

Human pose estimation (i.e., locating the body parts / joints of a person) is a fundamental problem in human-computer interaction and multimedia applications. Significant progress has been made based on the development of depth sensors, i.e., accessible human pose prediction from still depth images [32]. However, most of the existing approaches to this problem involve several components/models that are independently designed and optimized, leading to suboptimal performances. In this paper, we propose a novel inference-embedded multi-task learning framework for predicting human pose from still depth images, which is implemented with a deep architecture of neural networks. Specifically, we handle two cascaded tasks: i) generating the heat (confidence) maps of body parts via a fully convolutional network (FCN); ii) seeking the optimal configuration of body parts based on the detected body part proposals via an inference built-in MatchNet [10], which measures the appearance and geometric kinematic compatibility of body parts and embodies the dynamic programming inference as an extra network layer. These two tasks are jointly optimized. Our extensive experiments show that the proposed deep model significantly improves the accuracy of human pose estimation over other several state-of-the-art methods or SDKs. We also release a large-scale dataset for comparison, which includes 100K depth images under challenging scenarios.

研究动机与目标

• 解决现有基于深度图像的人体姿态估计方法在处理异常姿态和自遮挡方面的局限性。
• 克服传统方法中各组件独立优化导致的次优性能问题。
• 开发一种统一的深度学习框架，联合优化特征学习与结构约束。
• 提升在遮挡和非标准体姿等复杂场景下的鲁棒性与准确性。
• 通过将动态规划嵌入神经网络架构，实现实时高效的推理。

提出的方法

• 使用全卷积网络（FCN）生成热图，表示深度图像中所有身体部位的置信度分数。
• 应用一种新颖的内置推理MatchNet，将外观匹配与3D运动学约束作为网络层的一部分进行整合。
• 将动态规划推理作为可微分层嵌入MatchNet中，以寻找最优身体部位配置。
• 通过多任务学习目标，端到端联合优化FCN与MatchNet两个组件。
• 利用部件提议与模板之间的几何与外观兼容性，优化最终的姿态估计结果。
• 引入一种3D运动学约束模型，基于人体结构强制实现合理的关节关系。

实验结果

研究问题

• RQ1 深度学习框架能否联合优化从深度图像中进行人体姿态估计的特征提取与结构推理？
• RQ2 将推理（动态规划）直接嵌入神经网络架构在多大程度上提升了姿态估计的准确率与效率？
• RQ3 在复杂姿态与遮挡场景下，引入3D运动学约束能在多大程度上提升性能？
• RQ4 与最先进方法及商业SDK相比，该方法在准确率与推理速度方面表现如何？
• RQ5 外观匹配与几何约束在最终姿态估计中的贡献分别是什么？

主要发现

• 所提方法在K2HGD数据集上实现了最先进（SOTA）性能，显著优于最新的Microsoft Kinect SDK及其他SOTA方法。
• 尽管引入了推理步骤，该方法仍比Chen等人方法快190倍，比Tompson等人方法快5倍。
• 嵌入推理的MatchNet在关键关节（如肘部、肩部、膝盖和脚部）上显著优于仅使用FCN和FCN+标准MatchNet的基线方法。
• 3D运动学约束组件对性能有显著贡献，证明了结构先验在姿态估计中的重要性。
• 该方法在处理自遮挡与异常姿态方面表现出鲁棒性，而商业SDK在此类情况下常出现失败。
• 消融实验确认，外观匹配与几何兼容性对实现最佳性能均不可或缺。