[论文解读] 3D Hand Pose Detection in Egocentric RGB-D Images

Grégory Rogez, James Steven Supančič+3 more|arXiv (Cornell University)|Nov 29, 2014

Human Pose and Action Recognition参考文献 6被引用 51

一句话总结

该论文提出了一种用于第一视角RGB-D图像中3D手部姿态估计的判别式跟踪-检测框架，利用虚拟全身角色与日常物品交互生成的逼真合成数据来训练基于深度的姿势分类器。该方法在真实世界的第一视角数据集上实现了最先进性能，在遮挡和视场受限等挑战性条件下，优于现有的商业和学术方法。

ABSTRACT

We focus on the task of everyday hand pose estimation from egocentric viewpoints. For this task, we show that depth sensors are particularly informative for extracting near-field interactions of the camera wearer with his/her environment. Despite the recent advances in full-body pose estimation using Kinect-like sensors, reliable monocular hand pose estimation in RGB-D images is still an unsolved problem. The problem is considerably exacerbated when analyzing hands performing daily activities from a first-person viewpoint, due to severe occlusions arising from object manipulations and a limited field-of-view. Our system addresses these difficulties by exploiting strong priors over viewpoint and pose in a discriminative tracking-by-detection framework. Our priors are operationalized through a photorealistic synthetic model of egocentric scenes, which is used to generate training data for learning depth-based pose classifiers. We evaluate our approach on an annotated dataset of real egocentric object manipulation scenes and compare to both commercial and academic approaches. Our method provides state-of-the-art performance for both hand detection and pose estimation in egocentric RGB-D images.

研究动机与目标

• 解决在第一视角RGB-D图像中可靠单目手部姿态估计的挑战，其中严重的遮挡和视场受限会降低性能。
• 克服现有方法依赖第三人称假设（如稳定跟踪和简单基于深度的分割）的局限性，这些方法在第一人称设置下会失效。
• 通过生成逼真的合成训练数据，利用第一视角场景中的强先验信息（如视角一致性、常见抓握方式和物体交互）。
• 开发一种可扩展的判别式多类别分类框架，对全局手部姿态进行分类而非局部部件，从而改善对自遮挡的推理能力。
• 在真实世界的第一视角场景中实现鲁棒性能，包括与反光、新型或可变形物体的交互，以及噪声深度数据。

提出的方法

• 使用安装在虚拟全身角色上的3D手部模型与日常物品库交互，生成逼真的第一视角合成场景，从而生成包含上下文线索的逼真训练数据。
• 训练一个基于单帧RGB-D输入的分层级联多类别姿态分类器，利用深度作为主要线索，以提升近距离第一人称视角下的姿态估计性能。
• 通过捕捉真实手-物体交互（包括日常活动中常见的遮挡和自遮挡）的合成数据，实现视角和抓握先验的建模。
• 对全局手部姿态进行分类而非局部部件，从而更好地推理复杂遮挡模式，并提高对部分可见情况的鲁棒性。
• 采用具有级联阶段的判别式多类别拒绝框架，高效评估大量姿态假设，同时保持高精度和高速度。
• 检测评估采用10像素重叠阈值，平衡检测率与姿态精度，采用严格度量标准，要求同时具备正确的边界框和正确姿态估计。

实验结果

研究问题

• RQ1 第一视角RGB-D传感器的深度线索是否能显著提升在真实世界近距离交互场景中的3D手部姿态估计性能，这些场景中传统方法会失效？
• RQ2 包含全身和物体交互的合成第一视角训练数据在多大程度上能提升对遮挡和新物体等现实世界挑战的泛化能力和鲁棒性？
• RQ3 判别式分层级联的多类别姿态分类器在处理大量可能的手部姿态的同时，是否能保持高精度和高效率？
• RQ4 与分类局部部件相比，对全局姿态进行分类是否能更好地处理自遮挡和第一视角中的复杂手部构型？
• RQ5 在极端条件下（如反光表面、噪声深度数据或训练数据中未见的/可变形物体）系统表现如何？

主要发现

• 所提方法在真实世界第一视角数据集上的手部检测和3D手部姿态估计中均实现了最先进性能，优于现有商业和学术方法。
• 采用10像素重叠阈值进行检测评估，在检测率与姿态精度之间提供了最佳权衡，且采用严格度量标准，要求同时具备正确检测和正确姿态估计。
• 系统在反光物体（如葡萄酒瓶、手机）和噪声深度数据等挑战性条件下表现出鲁棒性，能在困难帧中保持高精度。
• 分层级联模型中每分支M=3个部件的选择达到最优性能，增加部件数量会导致更多误报且姿态精度无提升。
• 该方法能很好地泛化到训练过程中未见过的新物体，如信封、果汁盒和巧克力粉盒，表明具备强大的零样本泛化能力。
• 定性结果表明，在严重遮挡、截断手部和复杂物体交互的帧中，系统仍能成功实现检测和姿态估计，失败案例主要与极端深度噪声或极不寻常的物体形状有关。