[论文解读] Generating Realistic Training Images Based on Tonality-Alignment Generative Adversarial Networks for Hand Pose Estimation

Liangjian Chen, Shih-Yao Lin+6 more|arXiv (Cornell University)|Nov 25, 2018

Human Pose and Action Recognition参考文献 45被引用 16

一句话总结

本文提出TAGAN，一种用于色调对齐的生成对抗网络，通过将增强现实（AR）模拟器生成的合成手部姿态与真实背景融合，合成逼真的手部姿态图像，实现颜色和色调分布的对齐，从而提升训练数据质量。该方法在用于增强训练数据时，显著提升了2D和3D手部姿态估计的性能，优于当前最先进的基线方法。

ABSTRACT

Hand pose estimation from a monocular RGB image is an important but challenging task. The main factor affecting its performance is the lack of a sufficiently large training dataset with accurate hand-keypoint annotations. In this work, we circumvent this problem by proposing an effective method for generating realistic hand poses and show that state-of-the-art algorithms for hand pose estimation can be greatly improved by utilizing the generated hand poses as training data. Specifically, we first adopt an augmented reality (AR) simulator to synthesize hand poses with accurate hand-keypoint labels. Although the synthetic hand poses come with precise joint labels, eliminating the need of manual annotations, they look unnatural and are not the ideal training data. To produce more realistic hand poses, we propose to blend a synthetic hand pose with a real background, such as arms and sleeves. To this end, we develop tonality-alignment generative adversarial networks (TAGANs), which align the tonality and color distributions between synthetic hand poses and real backgrounds, and can generate high quality hand poses. We evaluate TAGAN on three benchmarks, including the RHP, STB, and CMU-PS hand pose datasets. With the aid of the synthesized poses, our method performs favorably against the state-of-the-arts in both 2D and 3D hand pose estimations.

研究动机与目标

• 解决缺乏大规模、逼真手部姿态数据集的问题，这些数据集包含准确的3D关键点标注，以用于训练深度学习模型。
• 提升由增强现实（AR）模拟器生成的合成手部姿态图像的真实感，因为这些图像通常显得不自然，从而降低模型的泛化能力。
• 开发一种基于条件生成对抗网络（GAN）的方法，实现将合成手部姿态无缝融合到真实背景中，同时保持形状结构，并对齐色调与颜色分布。
• 证明在使用TAGAN生成的图像进行数据增强后，训练手部姿态估计器可在基准数据集上实现更优的性能。
• 提供一种可扩展的数据增强解决方案，可在不修改模型架构的前提下提升现有姿态估计模型的性能。

提出的方法

• 使用增强现实（AR）模拟器合成大规模、包含准确3D关键点标注的手部姿态图像。
• 将每张合成手部姿态图像与真实背景图像融合，生成复合的训练样本。
• 提出色调对齐生成对抗网络（TAGAN），一种基于条件GAN的图像到图像翻译方法，同时施加形状和色调约束。
• 引入一种色调对齐损失，以对齐输入图像与生成图像之间的颜色分布和亮度，从而减少视觉伪影。
• 利用形状特征作为条件输入，引导GAN在图像翻译过程中保持正确的手部姿态结构。
• 端到端训练GAN，以生成高保真度、逼真的手部图像，使其在视觉上与真实图像无法区分。

实验结果

研究问题

• RQ1 将合成手部姿态与真实背景融合是否能提升手部姿态估计训练数据的真实感？
• RQ2 条件GAN模型是否能有效对齐合成手部与真实背景之间的色调与颜色分布，从而减小域差距？
• RQ3 在使用TAGAN生成的图像进行数据增强后，训练2D和3D手部姿态估计器是否能带来可测量的性能提升，优于基线方法？
• RQ4 使用TAGAN生成数据训练的手部姿态估计器的性能，与使用真实数据或仅使用合成数据训练的模型相比如何？
• RQ5 色调对齐在多大程度上促进了合成手部图像的真实感与泛化能力？

主要发现

• 在RHP数据集上，使用TAGAN生成数据训练3D手部姿态估计器，3D姿态估计的平均误差（EPE）降低了11.4mm；在STB数据集上降低了8.7mm。
• 在RHP数据集上，使用TAGAN增强数据进行2D姿态估计时，EPE误差降低了0.98像素；在STB数据集上降低了0.06像素。
• 在CMU-PS数据集上，使用TAGAN生成数据训练CPM模型后，PCK@20准确率从24.09提升至28.81，表明泛化能力显著增强。
• 使用TAGAN增强数据后，CPM模型的EPE平均误差从55.99mm降至52.93mm，证实回归精度得到提升。
• TAGAN生成的数据在性能上优于未经处理的AR合成手部图像以及AR手部与真实背景融合的结果（AR+RBG），证明了色调对齐的有效性。
• 在STB和RHP数据集上，使用TAGAN增强数据训练的Hand3D模型在3D手部姿态估计任务中达到了当前最优性能，超越了Z&B和Mueller等人等方法。