[论文解读] Viewpoint Invariant 3D Human Pose Estimation with Recurrent Error Feedback

Albert Haque, Boya Peng+4 more|arXiv (Cornell University)|Mar 23, 2016

Human Pose and Action Recognition参考文献 53被引用 9

一句话总结

本文提出一种基于深度卷积与循环神经网络、结合自顶向下误差反馈以迭代优化姿态预测的视角不变3D人体姿态估计模型。通过学习视角不变特征并实现自纠正，该模型在极端视角下实现了最先进性能，同时在正面视角下也保持了优异表现。

ABSTRACT

We propose a viewpoint invariant model for 3D human pose estimation from a single depth image. To achieve viewpoint invariance, our deep discriminative model embeds local regions into a learned viewpoint invariant feature space. Formulated as a multi-task learning problem, our model is able to selectively predict partial poses in the presence of noise and occlusion. Our approach leverages a convolutional and recurrent network with a top-down error feedback mechanism to self-correct previous pose estimates in an end-to-end manner. We evaluate our model on a previously published depth dataset and a newly collected human pose dataset containing 100K annotated depth images from extreme viewpoints. Experiments show that our model achieves competitive performance on frontal views while achieving state-of-the-art performance on alternate viewpoints.

研究动机与目标

• 解决现有方法在极端视角下性能下降的3D人体姿态估计挑战。
• 通过选择性部分姿态预测，在噪声和遮挡条件下实现鲁棒的姿态估计。
• 利用判别性特征空间，构建对视角变化具有不变性的深度学习框架。
• 提出一种端到端可训练的循环架构，结合误差反馈以实现迭代姿态优化。
• 在新收集的10万张从极端视角拍摄的深度图像大规模数据集上评估性能。

提出的方法

• 使用深度卷积与循环神经网络处理单幅深度图像，生成初始3D姿态估计。
• 将局部图像区域嵌入到学习得到的视角不变特征空间中，以减少视角依赖偏差。
• 将任务建模为多任务学习，以实现在噪声和遮挡条件下选择性预测部分姿态。
• 实现一种自顶向下的误差反馈机制，利用前序预测的残差误差来优化后续估计。
• 端到端训练整个模型，以同时优化准确率与视角不变性。
• 利用新收集的10万张来自极端视角的深度图像数据集进行训练与评估。

实验结果

研究问题

• RQ1 深度学习模型是否能在极端视角下实现一致的3D人体姿态估计性能？
• RQ2 循环误差反馈机制在通过迭代优化提升姿态估计准确率方面的效果如何？
• RQ3 视角不变特征学习在多大程度上可减少非正面视角下的性能下降？
• RQ4 在遮挡与传感器噪声等挑战性条件下，模型表现如何？
• RQ5 结合选择性部分姿态预测的多任务学习是否能增强真实场景下的鲁棒性？

主要发现

• 该模型在非正面（替代）视角下实现了最先进性能，优于先前方法。
• 在正面视角下，模型仍保持了具有竞争力的表现，证明了其在所有视角下的鲁棒性。
• 循环误差反馈机制通过迭代优化有效减少了预测误差。
• 视角不变特征空间显著提升了在多样化相机角度下的泛化能力。
• 由于多任务学习设置中引入的选择性部分姿态预测，模型在噪声与遮挡条件下表现出更强的鲁棒性。
• 在新收集的10万张来自极端视角的深度图像数据集上的评估结果，证实了该模型在真实场景中的有效性。