[论文解读] Audio-Driven Co-Speech Gesture Video Generation

Xian Liu, Qianyi Wu+5 more|arXiv (Cornell University)|Dec 5, 2022

Human Motion and Animation被引用 13

一句话总结

本文提出 ANGIE，一种新颖的统一框架，用于在不依赖 2D/3D 骨骼等结构化人体先验的前提下，在图像域中实现音频驱动的共言语手势视频生成。它利用向量量化运动提取器学习可重用的手势模式，并结合共言语 GPT 与运动细化模块，捕捉细微的节奏动态，从而实现从语音音频生成高保真、逼真的手势视频。

ABSTRACT

Co-speech gesture is crucial for human-machine interaction and digital entertainment. While previous works mostly map speech audio to human skeletons (e.g., 2D keypoints), directly generating speakers' gestures in the image domain remains unsolved. In this work, we formally define and study this challenging problem of audio-driven co-speech gesture video generation, i.e., using a unified framework to generate speaker image sequence driven by speech audio. Our key insight is that the co-speech gestures can be decomposed into common motion patterns and subtle rhythmic dynamics. To this end, we propose a novel framework, Audio-driveN Gesture vIdeo gEneration (ANGIE), to effectively capture the reusable co-speech gesture patterns as well as fine-grained rhythmic movements. To achieve high-fidelity image sequence generation, we leverage an unsupervised motion representation instead of a structural human body prior (e.g., 2D skeletons). Specifically, 1) we propose a vector quantized motion extractor (VQ-Motion Extractor) to summarize common co-speech gesture patterns from implicit motion representation to codebooks. 2) Moreover, a co-speech gesture GPT with motion refinement (Co-Speech GPT) is devised to complement the subtle prosodic motion details. Extensive experiments demonstrate that our framework renders realistic and vivid co-speech gesture video. Demo video and more resources can be found in: https://alvinliu0.github.io/projects/ANGIE

研究动机与目标

• 为解决直接在图像域中生成逼真共言语手势的挑战，绕过对 2D/3D 骨骼先验的依赖。
• 将共言语手势建模为可重用运动模式与细微节奏动态的分解，以提升生成质量。
• 开发一个统一框架，直接将语音音频映射为图像序列，无需后处理或预定义手势规则。
• 实现高保真、身份保持的语音同步手势视频生成，实现与语音音频的自然同步。

提出的方法

• 提出一种向量量化运动提取器（VQ-Motion Extractor），从无监督运动表征中学习可重用的共言语手势模式。
• 引入基于 Cholesky 分解的量化方案，确保数值稳定性，并在运动表征中强制实现对称正定协方差矩阵。
• 设计一种与位置无关的运动表征，以提取独立于空间位置的相对运动模式。
• 采用共言语 GPT 模型，从语音音频预测离散运动码序列，以捕捉大尺度手势模板。
• 集成运动细化网络，通过运动残差添加细微节奏动态，以增强与语音语调的精细同步。
• 使用图像重建损失（L1、感知损失）与 AED 评估身份保持性，以衡量视频质量和保真度。

实验结果

研究问题

• RQ1 是否可以在不依赖 2D/3D 骨骼等结构化人体身体先验的前提下，直接在图像域中生成共言语手势视频？
• RQ2 是否可以利用向量量化，从无监督运动表征中有效学习可重用的共言语手势模式？
• RQ3 是否可以利用类似 GPT 的架构，有效从语音音频预测离散运动码，以建模大尺度手势模板？
• RQ4 是否可以通过运动残差对细微节奏动作进行优化，以改善与语音语调的同步性并提升真实感？
• RQ5 与先前方法相比，该框架在手势质量、身份保持性和视听对齐方面表现如何？

主要发现

• 所提出的 ANGIE 框架在音频驱动共言语手势视频生成任务中达到最先进性能，Fréchet Gesture Distance（FGD）为 1.35，显著优于消融实验结果。
• 消融研究证实，对相对运动分量（Δμ）进行量化，性能优于对绝对运动（μ）或运动幅度（L）进行量化，完整模型的 FGD 降低至 1.35。
• 与无细化基线相比，运动细化模块使 AED 降低 15.7%，表明身份保持性得到显著提升。
• 代码本分析表明，每个代码本条目对应一种独特且有意义的手势模式，且在使用相同代码时，不同源图像下生成的运动具有一致性。
• 框架实现感知损失 42.9 和 L1 损失 0.037，表明图像重建质量与保真度极高。
• 无量化消融实验的 FGD 为 5.86，证明量化机制对于学习可重用手势模式至关重要。