[论文解读] Capturing Hand Articulations using Recurrent Neural Network for 3D Hand Pose Estimation.

Cheol-Hwan Yoo, Seungwook Kim+3 more|arXiv (Cornell University)|Nov 18, 2019

Human Pose and Action Recognition参考文献 21被引用 5

一句话总结

该论文提出了一种分层结构的卷积循环神经网络（HCRNN），通过为手掌和每根手指分别设置一个分支，利用RNN捕捉关节间的序列依赖关系，从而从单张深度图像中估计3D手部姿态。该方法在基于2D CNN的方法中达到了最先进水平的准确率，并在单张GPU上实现了240 fps的推理速度，与基于3D CNN的方法性能相当。

ABSTRACT

3D hand pose estimation from a single depth image plays an important role in computer vision and human-computer interaction. Although recent hand pose estimation methods using convolution neural network~(CNN) have shown notable improvements in accuracy, most of them have a limitation that they rely on a complex network structure without fully exploiting the articulated structure of the hand. A hand, which is an articulated object, is composed of six local parts: the palm and five independent fingers. Each finger consists of sequential-joints that provide constrained motion, referred to as a kinematic chain. In this paper, we propose a hierarchically-structured convolutional recurrent neural network~(HCRNN) with six branches that estimate the 3D position of the palm and five fingers independently. The palm position is predicted via fully-connected layers. Each sequential-joint, i.e. finger position, is obtained using a recurrent neural network~(RNN) to capture the spatial dependencies between adjacent joints. HCRNN directly takes the depth map as an input without a time-consuming data conversion, such as 3D voxels and point clouds. Experimental results on public datasets demonstrate that the proposed HCRNN not only outperforms the 2D CNN-based methods using the depth image as their inputs but also achieves competitive results with state-of-the-art 3D CNN-based methods with a highly efficient running speed of 240 fps on a single GPU.

研究动机与目标

• 为解决现有基于2D CNN的方法在建模手部关节结构方面的局限性。
• 通过显式利用手指的运动链结构，提升3D手部姿态估计的准确性。
• 开发一种快速推理方法，避免计算成本高昂的3D数据转换（如体素化或点云生成）。
• 在保持高速度的同时，实现与基于3D CNN的最先进方法相当的性能。

提出的方法

• HCRNN架构由六个并行分支组成：一个用于手掌，每个手指对应一个分支。
• 手掌位置通过全连接层对深度图进行预测。
• 每根手指的3D关节位置通过一个RNN进行估计，该RNN用于建模运动链中相邻关节之间的空间依赖关系。
• RNN按顺序处理关节，捕捉手指关节运动中固有的约束模式。
• 模型直接以深度图为输入，跳过耗时的3D数据转换步骤（如体素化或点云生成）。
• 分层结构使得关节估计能够尊重人体手部的解剖学与运动学约束。

实验结果

研究问题

• RQ1 与标准2D CNN相比，显式建模手指运动链的深度学习模型是否能提升3D手部姿态估计的准确性？
• RQ2 使用RNN捕捉手部关节间的序列依赖关系，是否能提升3D姿态估计的泛化能力与准确性？
• RQ3 基于2D CNN的方法若对关节结构进行结构化建模，能否达到与基于3D CNN的最先进方法相当的性能？
• RQ4 一种避免3D数据转换但保持高准确率的模型，其推理速度如何？

主要发现

• HCRNN在3D手部姿态估计准确性方面优于使用深度图作为输入的现有2D CNN方法。
• 所提方法在公开数据集上实现了与最先进3D CNN方法相当的性能。
• 该模型在单张GPU上实现了高达240帧每秒的推理速度，显著优于大多数基于3D CNN的方法。
• 利用RNN建模关节间的序列依赖关系，提升了对手指关节运动约束的建模能力。
• 直接处理深度图而不进行3D数据转换，既保持了高效率又保证了高精度。
• 为手掌和每根手指分别设置独立分支的分层结构，使得关节预测更加准确且具有结构性。