[论文解读] Can Everybody Sign Now? Exploring Sign Language Video Generation from 2D Poses

Lucas Ventura, Amanda Duarte+1 more|arXiv (Cornell University)|Dec 20, 2020

Hand Gesture Recognition Systems参考文献 9被引用 15

一句话总结

本文研究了从2D姿态关键点生成的逼真手语视频是否能被母语为聋人的手语使用者理解。基于How2Sign数据集的一个子集，使用Everybody Dance Now（EDN）GAN-based动作迁移模型，研究发现尽管生成的视频在整体理解上优于骨架可视化，但手部生成质量仍然较差——这限制了理解能力，尽管整体理解度有所提高。

ABSTRACT

Recent work have addressed the generation of human poses represented by 2D/3D coordinates of human joints for sign language. We use the state of the art in Deep Learning for motion transfer and evaluate them on How2Sign, an American Sign Language dataset, to generate videos of signers performing sign language given a 2D pose skeleton. We evaluate the generated videos quantitatively and qualitatively showing that the current models are not enough to generated adequate videos for Sign Language due to lack of detail in hands.

研究动机与目标

• 评估基于2D姿态关键点生成的手语视频是否能被母语为聋人的手语使用者理解。
• 对比真实视频输出与2D骨架可视化在理解度上的差异。
• 评估最先进图像生成模型（EDN）在生成准确手语视频方面的局限性。
• 量化关键点检测在生成帧中的可靠性，特别是对手语中至关重要的手部关键点。
• 探究当前神经生成模型是否能原生支持有效的手语翻译。

提出的方法

• 使用OpenPose从How2Sign数据集中的源视频提取2D关键点。
• 应用Everybody Dance Now（EDN）GAN-based动作迁移模型，将提取的2D姿态序列转换为逼真手语视频。
• 在How2Sign视频的一个子集上训练EDN模型，其中包含两名专业ASL手语翻译员，以一人作为源身份，另一人作为目标身份。
• 使用两个指标评估视觉质量：检测到的关键点百分比（PDK）和正确关键点百分比（PCK），并设定OpenPose置信度阈值。
• 组织了一项用户研究，邀请四位母语为ASL的使用者，比较骨架可视化与生成视频的理解差异。
• 收集了关于主题分类、主观可理解性（MOS）以及英文翻译准确率（BLEU分数）的反馈。

实验结果

研究问题

• RQ1 母语为聋人的手语使用者能否理解使用最先进GAN-based方法从2D姿态关键点生成的手语视频？
• RQ2 与2D骨架可视化相比，生成的真实视频在理解度上表现如何？
• RQ3 当前图像生成模型在多大程度上能准确再现手部动作——这是手语中的关键组成部分？
• RQ4 在生成帧中，关键点检测的可靠性如何，特别是对手部关键点？
• RQ5 生成的视频是否能支持准确的英文翻译，从而体现细粒度的理解能力？

主要发现

• 生成视频在主题分类上的准确率达到91.6%，优于骨架可视化（83.3%），表明更受青睐。
• 生成视频的平均意见评分（MOS）为2.58，略高于骨架可视化（2.50），表明感知可理解性更好。
• 英文翻译的BLEU分数显示，生成视频（BLEU-1: 12.38）优于骨架可视化（10.90），但所有分数仍偏低，表明翻译准确率有限。
• 在较高置信度阈值下，手部关键点的PCK显著下降——在0.5置信度下仅26%正确，凸显手部生成质量差。
• 尽管所有上半身关键点的PDK高达99%，但手部关键点检测可靠性低（在0.5置信度下PDK仅为17%），表明模型在手部区域合成上失败。
• 定性分析显示，生成视频常错误渲染手部手势和句子结构，导致翻译不准确或不完整。