[论文解读] HandAugment: A Simple Data Augmentation Method for Depth-Based 3D Hand Pose Estimation

Zhaohui Zhang, Shipeng Xie+2 more|arXiv (Cornell University)|Jan 3, 2020

Human Pose and Action Recognition参考文献 23被引用 16

一句话总结

HandAugment 提出了一种两阶段神经网络架构，并结合基于 MANO 的合成深度图像与噪声增强的数据合成方法，以提升从深度图中进行 3D 手部姿态估计的性能。通过结合真实数据与合成数据——包括视角、关节活动度和形状的噪声——HandAugment 相较于基线模型将误差降低了 27.84%，并在 HANDS 2019 挑战赛中获得第一名。

ABSTRACT

Hand pose estimation from 3D depth images, has been explored widely using various kinds of techniques in the field of computer vision. Though, deep learning based method improve the performance greatly recently, however, this problem still remains unsolved due to lack of large datasets, like ImageNet or effective data synthesis methods. In this paper, we propose HandAugment, a method to synthesize image data to augment the training process of the neural networks. Our method has two main parts: First, We propose a scheme of two-stage neural networks. This scheme can make the neural networks focus on the hand regions and thus to improve the performance. Second, we introduce a simple and effective method to synthesize data by combining real and synthetic image together in the image space. Finally, we show that our method achieves the first place in the task of depth-based 3D hand pose estimation in HANDS 2019 challenge.

研究动机与目标

• 为解决基于深度图的 3D 手部姿态估计缺乏大规模、多样化训练数据的问题。
• 改善深度图像中手部区域的定位，这对准确的姿态估计至关重要。
• 通过噪声增强的数据合成方法弥合真实与合成深度图像之间的域差距。
• 开发一种高效且简单的数据增强策略，以提升基于 2D CNN 的手部姿态估计器的泛化能力与性能。
• 在真实世界基于深度图的 3D 手部姿态估计任务中实现最先进性能。

提出的方法

• 提出一种两阶段神经网络架构，第一阶段检测手部区域，第二阶段利用裁剪后手部区域的特征进一步优化姿态估计。
• 使用 MANO 手部模型生成合成深度图像，并对手部形状、关节活动度和相机视角进行可控变化。
• 提出三种数据合成策略：使用原始 MANO 参数、混合真实与合成数据，以及对 MANO 参数施加噪声（视角、关节活动度、形状）。
• 在 MANO 参数中注入噪声，以模拟真实世界中的变化，减少合成数据与真实数据之间的域差距。
• 第二阶段网络从第一阶段网络进行微调，以提升特征学习能力与泛化性能。
• 在训练过程中结合真实数据与增强后的合成数据，以提升模型的鲁棒性与性能。

实验结果

研究问题

• RQ1 两阶段网络架构是否能改善深度图像中手部区域的定位及后续的 3D 姿态估计？
• RQ2 使用 MANO 模型生成合成数据在降低 3D 手部姿态估计泛化误差方面效果如何？
• RQ3 在合成数据参数（视角、关节活动度、形状）中加入噪声，能在多大程度上提升模型的鲁棒性与性能？
• RQ4 将真实数据与合成数据结合是否优于仅使用真实数据进行训练？
• RQ5 所提出的增强数据方法是否能在真实世界基准测试中实现最先进性能？

主要发现

• 两阶段网络将误差从基线的 18.93 mm 降低至 16.50 mm，证明了手部区域定位的改进。
• 加入合成数据（SD）后，误差从 18.93 mm 降低至 16.74 mm，表明数据增强具有显著优势。
• 引入混合数据（MD）与噪声数据（ND）后，误差进一步降低至 15.73 mm，表明噪声增强的合成数据具有高度有效性。
• 对第二阶段网络进行微调后，性能从无微调时的 20.99 mm 提升至 16.50 mm，证明了微调的重要性。
• 完整版 HandAugment 方法相较基线模型实现 27.84% 的误差降低，误差从 18.93 mm 降至 13.66 mm。
• HandAugment 在 HANDS 2019 挑战赛的基于深度图的 3D 手部姿态估计任务中获得第一名。