[论文解读] Direction matters: hand pose estimation from local surface normals

Chengde Wan, Angela Yao+1 more|arXiv (Cornell University)|Apr 10, 2016

Hand Gesture Recognition Systems参考文献 23被引用 12

一句话总结

该论文提出了一种分层回归框架，用于从单幅深度图像中进行3D手部姿态估计，利用局部表面法线建立鲁棒的局部参考系。通过引入基于法线的角差特征的帧条件回归森林，该方法在ICLV数据集上达到最先进性能，在MSRA数据集上也取得具有竞争力的结果，相较于以往的判别方法，误差率在40mm以下的范围内最高降低14%，同时对平面内旋转保持不变性，并减少了对数据增强的依赖。

ABSTRACT

We present a hierarchical regression framework for estimating hand joint positions from single depth images based on local surface normals. The hierarchical regression follows the tree structured topology of hand from wrist to finger tips. We propose a conditional regression forest, i.e., the Frame Conditioned Regression Forest (FCRF) which uses a new normal difference feature. At each stage of the regression, the frame of reference is established from either the local surface normal or previously estimated hand joints. By making the regression with respect to the local frame, the pose estimation is more robust to rigid transformations. We also introduce a new efficient approximation to estimate surface normals. We verify the effectiveness of our method by conducting experiments on two challenging real-world datasets and show consistent improvements over previous discriminative pose estimation methods.

研究动机与目标

• 在视角变化和自遮挡等挑战性条件下，提升从单幅深度图像中进行3D手部姿态估计的准确性。
• 通过利用局部表面法线作为参考系，降低手部姿态估计对刚性变换的敏感性。
• 开发一种鲁棒且高效的回归特征，对平面内旋转保持不变性，避免对数据增强的依赖。
• 通过基于局部几何和先验估计的条件特征，实现从手腕到指尖的分层关节回归。
• 在无需GPU依赖的情况下实现实时性能，适用于人机交互和增强现实应用。

提出的方法

• 采用基于随机森林的回归方法，从深度点云中估计表面法线，该方法针对单位向量分布进行了优化。
• 提出一种新颖的局部表面法线之间的角差特征，该特征对平面内旋转保持不变性，且比深度差特征更具鲁棒性。
• 提出一种帧条件回归森林（FCRF），其中每个回归阶段使用由当前点法线或先前估计的关节位置定义的局部参考系。
• FCRF基于局部参考系回归关节偏移量，从而提升对全局刚性变换的鲁棒性。
• 分层回归从手腕开始，逐步推进至指尖，每一阶段均基于先前估计结果和局部几何特征进行条件化处理。
• 系统使用树状结构的手部模型，隐式编码骨骼约束，减少关节估计中的方差。

实验结果

研究问题

• RQ1 局部表面法线能否作为几何特征，有效提升从深度图像中进行3D手部姿态估计的性能？
• RQ2 与使用深度差特征相比，使用法线之间的角差特征是否能在视角变化和刚性变换下带来更大的鲁棒性？
• RQ3 基于局部参考系的分层回归框架是否能相较于直接关节估计，提升准确性和泛化能力？
• RQ4 与先前方法相比，该方法在多大程度上减少了对数据增强的依赖？
• RQ5 该方法在具有极端关节运动和自遮挡的现实世界数据集上的表现如何？

主要发现

• 在ICLV数据集上，所提方法在判别性方法中达到最先进性能，显著优于先前方法。
• 在MSRA数据集上，该方法在40mm阈值下与最佳现有方法持平，并在整体回归手指关节时，在25–30mm范围内高出约5%。
• 与级联回归和协同过滤方法相比，该方法在40mm以下误差率降低约14%，表明其对未见姿态具有更优的泛化能力。
• 基于法线的角差特征对平面内旋转保持不变性，消除了对数据增强的需求，简化了训练与推理过程。
• 基于法线或估计关节的局部参考系的使用，提升了对刚性变换的鲁棒性，并降低了对初始化的敏感性。
• 通过回归森林实现的法线估计方法高效且适用于单位向量分布，支持实时推理。