[论文解读] Hand Pose Estimation: A Survey

Bardia Doosti|arXiv (Cornell University)|Mar 3, 2019

Human Pose and Action Recognition参考文献 58被引用 33

一句话总结

对手部姿态估计方法的综合综述，比较基于深度和基于RGB的方法，并详细描述用于2D/3D手部关节估计的主要数据集。它涵盖检测与回归、2D/3D输出，以及22 hand datasets。

ABSTRACT

The success of Deep Convolutional Neural Networks (CNNs) in recent years in almost all the Computer Vision tasks on one hand, and the popularity of low-cost consumer depth cameras on the other, has made Hand Pose Estimation a hot topic in computer vision field. In this report, we will first explain the hand pose estimation problem and will review major approaches solving this problem, especially the two different problems of using depth maps or RGB images. We will survey the most important papers in each field and will discuss the strengths and weaknesses of each. Finally, we will explain the biggest datasets in this field in detail and list 22 datasets with all their properties. To the best of our knowledge this is the most complete list of all the datasets in the hand pose estimation field.

研究动机与目标

• 解释手部姿态估计问题及其变体。
• 评述基于深度和基于RGB的手部姿态估计方法。
• 讨论CNN中的检测型 versus 回归型方法。
• 总结手部姿态估计的主要数据集及其属性。
• 突出该领域的优点、弱点与发展趋势。

提出的方法

• 将检测型热力图输出与回归型关节坐标区分开。
• 综述基于深度的方法，包括3D形状估计和3D CNN（例如 V2V-PoseNet、HandPointNet）。
• 综述基于RGB的方法，包括 HandSegNet/PoseNet 流水线以及多视角或合成数据策略。
• 讨论数据增强、合成和域迁移（GANs、CycleGAN）以缓解标注限制。
• 描述RGBD混合和融合方法（FuseNet）以提高准确性。
• 强调数据集和标注方案（21个关节，3D坐标）及其对学习的影响。

实验结果

研究问题

• RQ1 手部姿态估计的主要方法学类别是什么，深度基方法和RGB基方法在问题形式化和性能方面有何不同？
• RQ2 数据集和标注实践如何演变，它们对模型泛化有何影响？
• RQ3 哪些策略（例如多视角、合成数据、域迁移）可以缓解RGB遮挡和手部姿态估计中的数据稀缺？
• RQ4 在2D与3D手部姿态估计中，基于检测的方法与回归方法各自的优缺点是什么？
• RQ5 融合与3D表示（如TSDF、PointNet）如何有助于估计准确性？

主要发现

• 基于深度的方法发展为3D手部姿态估计，采用3D表示和像V2V-PoseNet这类网络，在主要数据集上表现出色。
• 基于RGB的方法需要大量数据集，通常使用手部分割和多阶段流水线从2D线索推断3D姿态。
• 遮挡处理和数据稀缺推动使用多摄像头设置、合成数据和域迁移技术（GANs、CycleGAN）。
• 混合RGBD方法（如 FuseNet）尝试融合深度和RGB流，但在某些情况下可能不优于单模态方法。
• 基于GAN的和合成到真实数据的管线已成为常见做法，用于增强训练并减少标注负担。
• 综述指出，尽管数据集驱动的结果强劲，真实世界的性能往往落后于简单基线，强调泛化挑战。