[论文解读] GestureGAN for Hand Gesture-to-Gesture Translation in the Wild

Hao Tang, Wei Wang+3 more|arXiv (Cornell University)|Aug 14, 2018

Human Pose and Action Recognition参考文献 61被引用 7

一句话总结

该论文提出GestureGAN，一种条件生成对抗网络，通过单一生成器和判别器，在无约束环境中实现手部手势到不同姿态、尺寸和位置的转换。该方法引入了一种新颖的颜色损失以减轻通道污染，并采用循环一致性损失，实现了最先进的性能，生成的图像具有照片级真实感和高质量，适用于手势识别任务中的数据增强。

ABSTRACT

Hand gesture-to-gesture translation in the wild is a challenging task since hand gestures can have arbitrary poses, sizes, locations and self-occlusions. Therefore, this task requires a high-level understanding of the mapping between the input source gesture and the output target gesture. To tackle this problem, we propose a novel hand Gesture Generative Adversarial Network (GestureGAN). GestureGAN consists of a single generator $G$ and a discriminator $D$, which takes as input a conditional hand image and a target hand skeleton image. GestureGAN utilizes the hand skeleton information explicitly, and learns the gesture-to-gesture mapping through two novel losses, the color loss and the cycle-consistency loss. The proposed color loss handles the issue of "channel pollution" while back-propagating the gradients. In addition, we present the Fréchet ResNet Distance (FRD) to evaluate the quality of generated images. Extensive experiments on two widely used benchmark datasets demonstrate that the proposed GestureGAN achieves state-of-the-art performance on the unconstrained hand gesture-to-gesture translation task. Meanwhile, the generated images are in high-quality and are photo-realistic, allowing them to be used as data augmentation to improve the performance of a hand gesture classifier. Our model and code are available at https://github.com/Ha0Tang/GestureGAN.

研究动机与目标

• 解决在任意姿态、尺寸、位置及遮挡条件下，无约束环境中手势到手势转换的挑战。
• 通过显式的手部骨骼监督，减少对复杂预处理和环境约束的依赖。
• 提升图像质量，减轻生成模型中因通道污染导致的模糊问题。
• 开发一种可扩展的框架，避免为不同手势领域训练多个模型。
• 评估并验证生成图像在手部手势分类任务中用于数据增强的实用性。

提出的方法

• GestureGAN使用单一生成器和判别器，以源手部图像和目标手部骨骼图像作为条件输入。
• 模型引入一种新颖的颜色损失，独立处理每个通道，以防止反向传播过程中的梯度干扰，减少通道污染。
• 引入循环一致性损失，以强制源图像与生成图像之间的结构一致性。
• 提出Fréchet ResNet Distance（FRD）度量，通过比较预训练ResNet的特征，评估生成图像的感知质量。
• 框架在两个公开数据集（NTU Hand Gesture 和 Senz3D）上端到端训练，并在测试阶段应用数据增强。
• 生成器学习在源图像与目标图像在尺度和距离上显著不同时，仍能实现跨姿态、尺寸和空间位置的准确手势转换。

实验结果

研究问题

• RQ1 单一生成对抗网络模型能否在无约束环境中有效实现手部手势在任意姿态、尺寸和位置之间的转换？
• RQ2 如何减轻多通道生成模型中的通道污染，以提升图像清晰度与质量？
• RQ3 生成的手势图像在多大程度上能提升下游手势分类模型的性能？
• RQ4 该模型在不同尺寸和距离的手势对组合下是否具备稳定性？
• RQ5 如FRD这样的新型度量能否可靠评估生成对抗网络生成的手势图像的感知质量？

主要发现

• GestureGAN在NTU Hand Gesture和Senz3D基准数据集上均达到最先进性能，图像质量和转换保真度优于现有方法。
• 在NTU Hand Gesture数据集中，使用数据增强后，手势识别准确率提升至96.667%，而未使用时仅为15.000%。
• 在Senz3D数据集中，使用增强数据后识别准确率达到99.747%，显著优于基线的34.343%。
• 该模型对手势尺寸和手势间距离的变化表现出强鲁棒性，在多种输入条件下均保持高质量生成。
• Fréchet ResNet Distance（FRD）度量与感知图像质量高度相关，表明生成图像具有照片级真实感，适用于数据增强。
• 颜色损失有效减少了通道污染，相比基线方法（如PG 2和PoseGAN），生成图像更加清晰逼真。