[论文解读] Adversarial Motion Modelling helps Semi-supervised Hand Pose Estimation

Adrian Spurr, Pavlo Molchanov+3 more|arXiv (Cornell University)|Jun 10, 2021

Human Pose and Action Recognition参考文献 57被引用 8

一句话总结

本文提出了一种对抗性运动建模框架，通过利用未标记的视频序列，提升了半监督三维手部姿态估计的性能。通过训练姿态预测器生成时序一致且逼真的手部运动序列——由判别器区分真实与生成的运动序列——该方法显著增强了泛化能力，在低标签设置下将平均关节点误差降低了40%。

ABSTRACT

Hand pose estimation is difficult due to different environmental conditions, object- and self-occlusion as well as diversity in hand shape and appearance. Exhaustively covering this wide range of factors in fully annotated datasets has remained impractical, posing significant challenges for generalization of supervised methods. Embracing this challenge, we propose to combine ideas from adversarial training and motion modelling to tap into unlabeled videos. To this end we propose what to the best of our knowledge is the first motion model for hands and show that an adversarial formulation leads to better generalization properties of the hand pose estimator via semi-supervised training on unlabeled video sequences. In this setting, the pose predictor must produce a valid sequence of hand poses, as determined by a discriminative adversary. This adversary reasons both on the structural as well as temporal domain, effectively exploiting the spatio-temporal structure in the task. The main advantage of our approach is that we can make use of unpaired videos and joint sequence data both of which are much easier to attain than paired training data. We perform extensive evaluation, investigating essential components needed for the proposed framework and empirically demonstrate in two challenging settings that the proposed approach leads to significant improvements in pose estimation accuracy. In the lowest label setting, we attain an improvement of $40\%$ in absolute mean joint error.

研究动机与目标

• 解决由于标注成本高昂以及在真实场景下泛化能力差，导致的3D手部姿态标注数据有限的问题。
• 克服完全监督方法在多样化环境、遮挡和手部形态变化下泛化能力不足的局限。
• 利用未标记视频数据中的时空结构，提升姿态估计性能，而无需配对的标注序列。
• 开发一种专为手部姿态设计的新颖运动建模方法，区别于现有适用于全身运动的模型，后者在手部姿态估计任务中泛化效果不佳。
• 实现有效的半监督训练，利用未配对的视频与姿态序列，这些数据比完全标注的数据更易获取。

提出的方法

• 提出一种新颖的对抗性手部姿态运动模型，其中生成器（手部姿态估计算法）从未标记视频中生成3D手部姿态序列。
• 训练判别器以区分来自标注数据的真实手部运动序列与来自姿态估计算法生成的序列，从而强制实现时序与结构一致性。
• 采用最小-最大对抗训练目标，优化姿态预测器，使其预测结果与真实运动序列难以区分。
• 将对抗损失与标准的逐帧姿态估计损失相结合，实现在未标记视频上的端到端训练，同时保持逐帧精度。
• 设计运动模型为非配对形式，允许使用独立的视频序列与姿态序列，无需同步或配对数据。
• 采用2.5D关键点表示作为输入，以提升泛化能力与鲁棒性，尤其在具有挑战性的现实场景中。

实验结果

研究问题

• RQ1 在低监督设置下，对未标记视频序列进行对抗性训练是否能提升3D手部姿态估计算法的泛化能力？
• RQ2 专为手部姿态设计的运动模型相较于现有全身运动模型，在手部姿态估计任务中的有效性如何？
• RQ3 在无需真实标签的情况下，未配对的视频与姿态序列能在多大程度上被利用以提升半监督手部姿态估计性能？
• RQ4 通过对抗性运动建模强制实现时序一致性，是否能相比标准逐帧基线方法降低预测误差？
• RQ5 该方法在不同标注比例设置以及在具有挑战性的分布外设置下表现如何？

主要发现

• 在最低标签设置（10%标注数据）下，所提方法实现了平均关节点误差（MPJPE）绝对降低40%，展现出显著的泛化优势。
• 在10%标注数据条件下，该方法在FPHAB Protocol 2上达到27.60 mm的MPJPE，优于使用20%标注数据的基线模型（28.30 mm MPJPE）。
• 在HO-3D数据集上，该方法在半监督设置下将MPJPE降低至24.5 mm，显著优于先前工作[22]（31.8 mm）和[51]（30.4 mm）。
• 消融实验表明，仅使用对抗性运动模型即可使MPJPE降低4.95 mm（从28.47 mm降至23.52 mm），凸显其核心贡献。
• 该方法同时降低了绝对误差与根相对误差，表明其对相机与物体姿态变化具有更强的鲁棒性。
• 采用2.5D关键点表示使误差降低3.1 mm，运动模型设计选择进一步减少0.94 mm误差，验证了各组件的有效性。