[论文解读] Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction

Anil Armagan, Guillermo Garcia-Hernando+33 more|arXiv (Cornell University)|Mar 30, 2020

Human Pose and Action Recognition参考文献 50被引用 6

一句话总结

该论文通过HANDS'19挑战赛，评估了在未见视角、构型、形状和物体交互条件下3D手部姿态估计的泛化性能。结果表明，集成方法、合成数据以及基于参数化手部模型（MANO）的后处理可显著提升外推性能，将未见姿态下的平均关节点误差从27mm降低至13mm。

ABSTRACT

We study how well different types of approaches generalise in the task of 3D hand pose estimation under single hand scenarios and hand-object interaction. We show that the accuracy of state-of-the-art methods can drop, and that they fail mostly on poses absent from the training set. Unfortunately, since the space of hand poses is highly dimensional, it is inherently not feasible to cover the whole space densely, despite recent efforts in collecting large-scale training datasets. This sampling problem is even more severe when hands are interacting with objects and/or inputs are RGB rather than depth images, as RGB images also vary with lighting conditions and colors. To address these issues, we designed a public challenge (HANDS'19) to evaluate the abilities of current 3D hand pose estimators (HPEs) to interpolate and extrapolate the poses of a training set. More exactly, HANDS'19 is designed (a) to evaluate the influence of both depth and color modalities on 3D hand pose estimation, under the presence or absence of objects; (b) to assess the generalisation abilities w.r.t. four main axes: shapes, articulations, viewpoints, and objects; (c) to explore the use of a synthetic hand model to fill the gaps of current datasets. Through the challenge, the overall accuracy has dramatically improved over the baseline, especially on extrapolation tasks, from 27mm to 13mm mean joint error. Our analyses highlight the impacts of: Data pre-processing, ensemble approaches, the use of a parametric 3D hand model (MANO), and different HPE methods/backbones.

研究动机与目标

• 评估3D手部姿态估计器（HPE）在手-物体交互条件下对未见视角、构型、形状和物体的泛化性能。
• 评估深度与RGB模态对HPE泛化性能的影响，特别是在第一人称视角和遮挡场景下的表现。
• 研究合成数据和参数化手部模型（MANO）在提升模型超越训练数据分布外推能力方面的作用。
• 基准化最先进HPE方法，并识别提升泛化性能的关键因素，如集成与后处理。
• 建立一个结构化的挑战框架，以隔离并测量在四个关键维度上的泛化性能：视角、构型、形状和物体。

提出的方法

• 设计了一个公开挑战赛（HANDS'19），包含三个任务：基于深度的HPE（无物体）、基于深度的HPE与物体交互，以及基于RGB的HPE与物体交互。
• 构建了训练集与测试集，通过控制视角、手部形状、构型和物体交互的变量，以隔离泛化性能。
• 向参赛者提供参数化3D手部模型（MANO），用于合成训练数据并提升对未见姿态的泛化能力。
• 支持使用合成数据、集成方法以及后处理技术（如NTIS，基于非线性变换的推理策略）与截断SVD及时间平滑。
• 采用ResNet骨干网络与2D/3D关节点回归器，结合2D与3D HPE的模型集成及后处理优化。
• 应用可学习的自适应加权回归（AWR）以提升关节点定位中概率图的质量，尤其在遮挡或低可见度情况下。

实验结果

研究问题

• RQ1 最先进3D手部姿态估计器在未见视角和构型下，特别是在第一人称或遮挡设置中，泛化性能如何？
• RQ2 使用合成数据和参数化手部模型（MANO）在多大程度上提升了对训练分布之外情况的外推能力？
• RQ3 集成技术与后处理方法（如NTIS和AWR）对未见姿态下泛化性能的影响如何？
• RQ4 在手-物体交互条件下，RGB与深度模态对HPE泛化性能的相对影响是什么？
• RQ5 不同HPE骨干网络与架构在复杂真实场景下的插值与外推任务中表现如何？

主要发现

• 在外部推广任务中，总体平均关节点误差（MJE）从基线的27mm显著降低至13mm（优胜方法），表明泛化性能大幅提升。
• 集成方法，尤其是后处理阶段的集成，使外推任务的MJE降低最多达15%，最佳单模型（ResNet-152）达到14.74mm的MJE。
• 采用截断SVD与加权集成的NTIS后处理在任务1中使MJE降低1.1%，证明了优化技术的价值。
• 在基于序列的任务2中，时间平滑略微降低了外推误差，但更大的上下文尺寸影响有限，表明收益递减。
• 基于AWR的自适应加权使NYU数据集的MJE降低0.49mm，HANDS’17数据集降低0.50mm，表明其在处理模糊或遮挡关节点方面有效。
• 仅有少数方法使用了合成数据，甚至优胜方法也仅使用了57万张合成图像，凸显了合成数据在提升泛化性能方面尚未被充分挖掘的潜力。