[论文解读] HandsFormer: Keypoint Transformer for Monocular 3D Pose Estimation ofHands and Object in Interaction

Shreyas Hampali, Sayan Sarkar+2 more|arXiv (Cornell University)|Apr 29, 2021

Human Pose and Action Recognition参考文献 55被引用 12

一句话总结

HandsFormer 提出了一种基于关键点的 Transformer 模型，用于单目图像中手与物体交互的 3D 手部和物体姿态估计，以热图极值作为输入，并利用自注意力机制解决关节构型问题。该方法在 InterHand2.6M 和 HO-3D 数据集上相比基线方法实现了 17% 的性能提升，并发布了一个全新的完全标注为 3D 的手-物体交互动作序列数据集。

ABSTRACT

We propose a robust and accurate method for estimating the 3D poses of two hands in close interaction from a single color image. This is a very challenging problem, as large occlusions and many confusions between the joints may happen. Our method starts by extracting a set of potential 2D locations for the joints of both hands as extrema of a heatmap. We do not require that all locations correctly correspond to a joint, not that all the joints are detected. We use appearance and spatial encodings of these locations as input to a transformer, and leverage the attention mechanisms to sort out the correct configuration of the joints and output the 3D poses of both hands. Our approach thus allies the recognition power of a Transformer to the accuracy of heatmap-based methods. We also show it can be extended to estimate the 3D pose of an object manipulated by one or two hands. We evaluate our approach on the recent and challenging InterHand2.6M and HO-3D datasets. We obtain 17% improvement over the baseline. Moreover, we introduce the first dataset made of action sequences of two hands manipulating an object fully annotated in 3D and will make it publicly available.

研究动机与目标

• 解决从单张 RGB 图像中估计两个相互作用手部的 3D 姿态的挑战，其中遮挡和关节歧义普遍存在。
• 通过利用注意力机制推断正确的 3D 构型，开发一种对不完整或噪声 2D 关键点检测具有鲁棒性的方法。
• 将方法扩展至联合估计手部和其操作物体的 3D 姿态，实现交互感知的姿态估计。
• 发布一个全新的 3D 标注动作序列数据集，用于两个手操作物体的交互，以支持未来的研究。

提出的方法

• 从热图预测中提取潜在的 2D 关节位置作为局部极值，无需所有关节都被检测或正确定位。
• 使用可学习嵌入编码这些 2D 关键点候选的外观和空间位置，形成 Transformer 的输入序列。
• 采用带有自注意力机制的 Transformer 架构，以建模长距离依赖关系，并解决重叠或遮挡关节之间的歧义。
• 通过从学习到的注意力特征端到端回归预测 3D 关节坐标，实现姿态与构型的联合优化。
• 通过在输入序列中添加与物体相关的标记，将框架扩展以包含物体关键点预测，并预测其 3D 坐标。
• 使用标准的回归损失在 3D 关键点坐标上进行训练，联合优化手部和物体姿态估计。

实验结果

研究问题

• RQ1 基于 Transformer 的方法是否能有效解决单张图像中由于遮挡和噪声 2D 检测导致的两个相互作用手部的 3D 构型歧义？
• RQ2 单个模型在联合估计两个手部和其操作物体的 3D 姿态方面表现如何，尤其是在交互场景中？
• RQ3 与基线方法相比，该方法在 InterHand2.6M 和 HO-3D 等具有挑战性的基准上的准确率提升程度如何？
• RQ4 该模型是否能泛化到手部和物体处于动态运动中的复杂交互序列？

主要发现

• HandsFormer 在 InterHand2.6M 数据集上相比基线方法实现了 17% 的相对 3D 关键点误差降低。
• 通过利用注意力机制推断正确的 3D 构型，该模型对不完整或模糊的 2D 关键点检测表现出强大的鲁棒性。
• 该方法在物体操作场景中表现出良好的泛化能力，能够实现对手部和被操作物体的准确 3D 姿态估计。
• 作者发布了全新的、完全标注为 3D 的动作序列数据集，涵盖双手操作物体的交互过程，为未来在交互式 3D 手部与物体姿态估计方面的研究提供支持。