[论文解读] Dense 3D Regression for Hand Pose Estimation

Chengde Wan, Thomas Probst+2 more|arXiv (Cornell University)|Nov 24, 2017

Human Pose and Action Recognition参考文献 38被引用 3

一句话总结

本文提出一种基于多任务CNN级联的密集3D回归方法，通过建模2D/3D关节点热力图与单位3D方向向量场，实现单深度帧下的手部姿态估计。该方法采用均值漂移变体聚合像素级投票，同时强制保证2D与3D预测之间的一致性，在MSRA、NYU和ICVL数据集上实现了最先进性能，平均误差分别为7.2mm、10.2mm和7.3mm。

ABSTRACT

We present a simple and effective method for 3D hand pose estimation from a single depth frame. As opposed to previous state-of-the-art methods based on holistic 3D regression, our method works on dense pixel-wise estimation. This is achieved by careful design choices in pose parameterization, which leverages both 2D and 3D properties of depth map. Specifically, we decompose the pose parameters into a set of per-pixel estimations, i.e., 2D heat maps, 3D heat maps and unit 3D directional vector fields. The 2D/3D joint heat maps and 3D joint offsets are estimated via multi-task network cascades, which is trained end-to-end. The pixel-wise estimations can be directly translated into a vote casting scheme. A variant of mean shift is then used to aggregate local votes while enforcing consensus between the the estimated 3D pose and the pixel-wise 2D and 3D estimations by design. Our method is efficient and highly accurate. On MSRA and NYU hand dataset, our method outperforms all previous state-of-the-art approaches by a large margin. On the ICVL hand dataset, our method achieves similar accuracy compared to the currently proposed nearly saturated result and outperforms various other proposed methods. Code is available $\href{"https://github.com/melonwan/denseReg"}{ ext{online}}$.

研究动机与目标

• 为解决整体3D回归与2D检测在单深度帧手部姿态估计中的局限性。
• 通过结合深度图中2D与3D几何特性，提升对姿态变化、平移变化及自遮挡的鲁棒性。
• 通过统一的密集像素级估计框架，实现关节点检测与3D回归的端到端学习。
• 减少对离散体素表示的依赖，避免3D CNN带来的计算负担与模糊性。

提出的方法

• 将3D关节点位置重参数化为每像素的3D偏移量，而非绝对坐标，以确保平移不变性。
• 为每个像素预测2D关节点热力图、基于3D距离的3D关节点热力图以及单位3D方向向量场。
• 使用多任务、可端到端训练的CNN级联结构，同时回归上述三个分量。
• 应用非参数均值漂移变体，聚合来自热力图与向量场的局部投票，强制保证2D与3D预测的一致性。
• 通过投票投射机制整合2D检测与3D回归，确保最终姿态估计中几何一致性。
• 利用深度图的2.5D特性，结合2D CNN进行局部模式学习与3D几何推理以实现最终姿态回归。

实验结果

研究问题

• RQ1 与整体回归相比，对2D与3D关节点属性进行密集像素级估计是否能提升3D手部姿态估计的准确性？
• RQ2 在不使用3D CNN的情况下，如何在深度学习框架中有效融合来自深度图的2D与3D几何先验？
• RQ3 基于热力图与方向场的投票投射聚合方案是否能提升对自遮挡与姿态变化的鲁棒性？
• RQ4 基于偏移的回归结合单位向量场在多大程度上能稳定训练并提升对多样化手部姿态的泛化能力？
• RQ5 通过一致投票机制结合2D检测与3D回归，是否优于级联或共享特征的方法？

主要发现

• 在MSRA数据集上，所提方法实现7.2mm的平均3D误差，优于所有先前的最先进方法。
• 在NYU数据集上，方法实现10.2mm的平均3D误差，显著优于先前的SOTA结果。
• 在ICVL数据集上，方法达到7.3mm的平均3D误差，与Chen等人[5]的近乎饱和性能相当，同时优于其他方法。
• 在MSRA上超过81%的帧中，关节点误差低于20mm，较先前SOTA方法的60%有显著提升。
• 在具有挑战性的姿态下，方法表现出高成功率：MSRA上91%的帧误差低于30mm，而先前最佳方法为81%。
• 定性结果表明，该方法在多样化手部姿态与自遮挡场景下均表现稳定，仅在极端情况下出现少量失败。