[论文解读] JGR-P2O: Joint Graph Reasoning based Pixel-to-Offset Prediction Network for 3D Hand Pose Estimation from a Single Depth Image

Linpu Fang, Xingyan Liu+3 more|arXiv (Cornell University)|Jul 9, 2020

Human Pose and Action Recognition参考文献 50被引用 5

一句话总结

该论文提出JGR-P2O，一种新颖的2D全卷积神经网络，用于从单张深度图像进行3D手部姿态估计。该方法利用基于图卷积网络（GCN）的关节图推理模块，建模关节间的依赖关系并增强局部特征表示，同时采用像素到偏移量预测实现端到端的关节回归。该方法仅使用140万参数，即可在单张GPU上实现111.2 fps的推理速度，达到当前最优的精度表现。

ABSTRACT

State-of-the-art single depth image-based 3D hand pose estimation methods are based on dense predictions, including voxel-to-voxel predictions, point-to-point regression, and pixel-wise estimations. Despite the good performance, those methods have a few issues in nature, such as the poor trade-off between accuracy and efficiency, and plain feature representation learning with local convolutions. In this paper, a novel pixel-wise prediction-based method is proposed to address the above issues. The key ideas are two-fold: a) explicitly modeling the dependencies among joints and the relations between the pixels and the joints for better local feature representation learning; b) unifying the dense pixel-wise offset predictions and direct joint regression for end-to-end training. Specifically, we first propose a graph convolutional network (GCN) based joint graph reasoning module to model the complex dependencies among joints and augment the representation capability of each pixel. Then we densely estimate all pixels' offsets to joints in both image plane and depth space and calculate the joints' positions by a weighted average over all pixels' predictions, totally discarding the complex postprocessing operations. The proposed model is implemented with an efficient 2D fully convolutional network (FCN) backbone and has only about 1.4M parameters. Extensive experiments on multiple 3D hand pose estimation benchmarks demonstrate that the proposed method achieves new state-of-the-art accuracy while running very efficiently with around a speed of 110fps on a single NVIDIA 1080Ti GPU.

研究动机与目标

• 为解决现有基于密集预测的3D手部姿态估计方法在精度与效率之间的权衡问题。
• 通过显式建模关节之间的依赖关系以及像素与关节之间的关系，提升局部特征表示能力。
• 通过在端到端训练框架中统一密集像素级偏移量预测与直接关节回归，消除不可微的后处理操作。
• 通过使用参数极少的轻量化2D全卷积网络，实现高效率与高精度。

提出的方法

• 提出一种基于GCN的关节图推理（JGR）模块，用于建模21个手部关节之间的依赖关系，以增强局部特征表示。
• 采用像素到偏移量预测（P2O）模块，从每个像素估计到所有关节在2D图像平面和深度空间中的偏移量，实现密集且可微的回归。
• 通过加权平均融合所有像素的预测结果，推断最终的关节位置，避免复杂的后处理步骤。
• 采用仅含140万参数的2D全卷积网络（FCN）主干网络，实现高推理速度。
• 将密集偏移量预测与直接关节回归统一于单一端到端训练流程中，提升优化效果并减少量化误差。
• 利用深度图像的2.5D特性，在统一框架中联合回归2D坐标与深度值。

实验结果

研究问题

• RQ1 建模关节间的相互依赖关系是否能提升3D手部姿态估计的局部特征表示？
• RQ2 端到端的像素到偏移量预测是否能消除对不可微后处理的依赖，并提升精度？
• RQ3 结合图推理的轻量化2D FCN能否在保持高速的同时实现SOTA性能？
• RQ4 与现有基于密集预测和直接回归的方法相比，所提方法在精度与效率方面表现如何？

主要发现

• 在ICVL数据集上，JGR-P2O实现了6.02mm的最低平均3D误差，优于所有先前方法。
• 在NYU数据集上，该方法实现了8.29mm的平均误差，是所有SOTA方法中的最低水平。
• 在单张NVIDIA 1080Ti GPU上，JGR-P2O实现了111.2 fps的推理速度，显著快于先前的密集预测方法。
• 仅使用140万参数，JGR-P2O是当前最参数高效的SOTA方法，在速度与精度上均优于更大的模型。
• 在NYU数据集上，与注意力模块相比，JGR模块将平均3D误差降低了0.43mm，证明其在局部特征学习中的有效性。
• 与可微热力图基线相比，P2O模块将误差降低了0.4mm，证实其在偏移量估计中的优越性。