[论文解读] AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand Pose Estimation

Takehiko Ohkawa, Kun He+4 more|arXiv (Cornell University)|Apr 24, 2023

Human Pose and Action Recognition被引用 4

一句话总结

该论文提出了AssemblyHands，一个大规模基准数据集，包含300万张图像（其中49万张为第一视角视角），通过多视角特征融合与迭代优化流程，实现了高精度3D手部姿态标注。该方法将平均关节点误差降低至4.20毫米（较原始Assembly101标注降低85%），并证明了姿态质量的提升可显著增强第一视角动作识别的准确率，使用单视角基线模型在动词分类任务上达到91.1%的相对性能。

ABSTRACT

We present AssemblyHands, a large-scale benchmark dataset with accurate 3D hand pose annotations, to facilitate the study of egocentric activities with challenging hand-object interactions. The dataset includes synchronized egocentric and exocentric images sampled from the recent Assembly101 dataset, in which participants assemble and disassemble take-apart toys. To obtain high-quality 3D hand pose annotations for the egocentric images, we develop an efficient pipeline, where we use an initial set of manual annotations to train a model to automatically annotate a much larger dataset. Our annotation model uses multi-view feature fusion and an iterative refinement scheme, and achieves an average keypoint error of 4.20 mm, which is 85% lower than the error of the original annotations in Assembly101. AssemblyHands provides 3.0M annotated images, including 490K egocentric images, making it the largest existing benchmark dataset for egocentric 3D hand pose estimation. Using this data, we develop a strong single-view baseline of 3D hand pose estimation from egocentric images. Furthermore, we design a novel action classification task to evaluate predicted 3D hand poses. Our study shows that having higher-quality hand poses directly improves the ability to recognize actions.

研究动机与目标

• 为解决第一视角场景中高质量3D手部姿态标注的缺乏，特别是针对复杂的手-物体交互任务。
• 开发一种高效的自动标注流程，利用多视角外部视角图像，从第一视角视频中生成精确的3D手部姿态。
• 建立一个基于动作分类的新评估方案的、用于第一视角3D手部姿态估计的基准数据集。
• 探究3D手部姿态估计质量对下游动作识别性能的影响。
• 为从第一视角图像进行3D手部姿态估计提供一个强大的单视角基线模型。

提出的方法

• 使用人工标注与学习型自动标注模型相结合的方式，对Assembly101数据集中300万张图像（包括49万张第一视角图像）进行标注。
• 通过同步外部视角摄像机的多视角特征融合，训练自动标注模型（MVExoNet），以提升3D手部姿态估计的准确性。
• 应用迭代优化方案，通过逐步校正预测关节点位置的误差，进一步提升姿态估计质量。
• 开发一个单视角3D手部姿态估计网络（SVEgoNet），仅使用第一视角输入，通过优化2.5D关节点热力图并分类手部身份。
• 设计一种新颖的动作分类基准，以手部姿态序列为输入，通过六类动词动作集的动词准确率来评估性能。
• 使用MS-G3D模型对预测的3D手部姿态序列进行动词分类，以评估估计姿态在动作理解中的实用性。

Figure 1 : High-quality 3D hand poses as an effective representation for egocentric activity understanding. AssemblyHands provides high-quality 3D hand pose annotations computed from multi-view exocentric images sampled from Assembly101 [ 28 ] , which originally comes with inaccurate annotations com

实验结果

研究问题

• RQ1 3D手部姿态标注的质量如何影响第一视角动作识别模型的性能？
• RQ2 多视角、多阶段的自动标注流程是否能显著优于仅使用第一视角的手部追踪方法？
• RQ3 单视角第一视角手部姿态估计器在动作识别任务中，其性能在多大程度上可与多视角基线模型相媲美？
• RQ4 在如玩具组装等程序性任务中，改进的3D手部姿态估计对动词分类准确率有何影响？
• RQ5 所提出的基准如何促进对第一视角手-物体交互与动作理解的研究？

主要发现

• 所提出的自动标注流程将平均关节点误差降低至4.20毫米，相比原始Assembly101标注降低了85%。
• 单视角3D手部姿态估计器（SVEgoNet）实现21.92毫米MPJPE，较UmeTrack基线（32.91毫米）降低33%。
• 使用SVEgoNet预测的手部姿态进行动词分类，平均动词准确率达到54.7%，显著优于UmeTrack的50.3%。
• SVEgoNet在与实际性能上限（自动标注姿态上的60.0%动词准确率）相比，达到91.1%的相对性能，表明其预测姿态具有强大实用性。
• 混淆矩阵显示，SVEgoNet在所有动词上均减少了误分类错误，尤其在'position'和'screw'类别上分别提升了13.1%和4.1%。
• 本研究证实，更高品质的3D手部姿态估计可直接提升第一视角动作识别任务的性能。

Figure 2 : Construction of AssemblyHands dataset and a benchmark task for egocentric 3D hand pose estimation. We first use manual annotations and an automatic annotation network (MVExoNet) to generate accurate 3D hand poses for multi-view images sampled from the Assembly101 dataset [ 28 ] . These an