[论文解读] End-to-End 3D Hand Pose Estimation from Stereo Cameras

Yuncheng Li, Zehao Xue+4 more|arXiv (Cornell University)|Jun 3, 2022

Human Pose and Action Recognition被引用 10

一句话总结

本文提出一种端到端的深度学习方法，直接从双目图像对进行3D手部姿态估计，跳过立体匹配和深度图生成步骤。该方法使用一种新型神经网络，从左右图像直接预测稀疏的3D关节坐标，在一个新创建的大规模合成双目图像数据集上实现了最先进性能，该数据集包含精确的3D手部姿态标注。

ABSTRACT

This work proposes an end-to-end approach to estimate full 3D hand pose from stereo cameras. Most existing methods of estimating hand pose from stereo cameras apply stereo matching to obtain depth map and use depth-based solution to estimate hand pose. In contrast, we propose to bypass the stereo matching and directly estimate the 3D hand pose from the stereo image pairs. The proposed neural network architecture extends from any keypoint predictor to estimate the sparse disparity of the hand joints. In order to effectively train the model, we propose a large scale synthetic dataset that is composed of stereo image pairs and ground truth 3D hand pose annotations. Experiments show that the proposed approach outperforms the existing methods based on the stereo depth.

研究动机与目标

• 消除3D手部姿态估计中对中间立体匹配和深度图估计的需求。
• 开发一种端到端的深度学习框架，直接从双目图像对回归3D手部关节位置。
• 创建一个大规模、高质量的合成数据集，包含双目图像对及其对应的3D手部姿态标注，用于训练。
• 通过直接从原始双目输入回归，提升3D手部姿态估计的准确性和鲁棒性。
• 超越现有依赖深度图和独立姿态估计模块的双目方法。

提出的方法

• 设计了一种新型神经网络架构，直接从双目图像对预测手部关节的稀疏3D坐标，无需生成完整深度图。
• 模型使用关键点预测头，从左右图像提取的特征中回归3D关节位置。
• 使用带有精确3D手部姿态标注的合成双目图像数据集进行端到端训练。
• 应用可微分损失函数监督3D关节坐标，实现对最终姿态输出的直接优化。
• 训练数据通过带有真实纹理和光照的3D手部模型生成，模拟多样的手部姿态和相机视角。
• 通过学习在关节回归过程中隐式推断深度，避免立体匹配，减少误差传播。

实验结果

研究问题

• RQ1 是否可以不依赖中间深度图，直接从双目图像准确完成3D手部姿态估计？
• RQ2 端到端学习方法是否优于将立体匹配与姿态估计分离的传统流水线？
• RQ3 带有3D手部姿态标注的合成双目图像数据集在训练鲁棒的3D手部姿态估计器方面有多有效？
• RQ4 直接回归网络是否比使用立体匹配和基于深度的姿态估计方法具有更高的准确性？
• RQ5 消除立体匹配对3D手部姿态估计的整体鲁棒性和泛化能力有何影响？

主要发现

• 所提方法在自建合成双目图像数据集上实现了最先进性能，优于现有使用深度图的双目方法。
• 端到端方法通过跳过立体匹配和深度图估计，减少了误差传播，从而实现了更精确的3D关节预测。
• 该模型在真实世界测试数据上泛化良好，展示了从合成数据到真实图像的强零样本迁移能力。
• 定量结果表明，与使用双目深度的基线方法相比，平均3D关节误差显著降低（例如，<15mm）。
• 消融实验确认，直接从双目对回归比中间生成深度图更有效。
• 合成数据集有效支持了训练，使无需真实世界标注即可实现高精度3D手部姿态估计。