[论文解读] LumièreNet: Lecture Video Synthesis from Audio

Byung‐Hak Kim|arXiv (Cornell University)|Jul 4, 2019

Video Analysis and Summarization参考文献 27被引用 4

一句话总结

LumièreNet 是一种深度学习框架，通过使用由 BLSTM、VAE 和 SeqPix2Pix 网络组成的模块化架构，从音频旁述合成高质量、全姿态的头像讲座视频。它通过学习紧凑的、基于姿态的潜在编码实现逼真的视频生成，产生面部和身体动作同步的逼真结果，尽管在眼睛和细微手势细节方面仍存在少量伪影。

ABSTRACT

We present LumièreNet, a simple, modular, and completely deep-learning based architecture that synthesizes, high quality, full-pose headshot lecture videos from instructor's new audio narration of any length. Unlike prior works, LumièreNet is entirely composed of trainable neural network modules to learn mapping functions from the audio to video through (intermediate) estimated pose-based compact and abstract latent codes. Our video demos are available at [22] and [23].

研究动机与目标

• 通过自动化从音频生成视频，实现面向 MOOC 的可扩展、低成本讲师讲座视频制作。
• 解决将低维音频映射到高维、时间一致的视频序列的挑战。
• 开发一种模块化、端到端可训练的神经网络框架，从音频旁述生成全身、高保真度的视频。
• 探索使用基于姿态的潜在编码作为中间表示，以提升视频的真实感与一致性。
• 通过消除重复拍摄视频的需求，支持在线教育中内容的敏捷更新。

提出的方法

• 该框架使用 BLSTM 网络将原始音频特征映射到中间的紧凑潜在编码（z）。
• 基于 VAE 的解码器从潜在编码（z）重建密集人体姿态图像（DensePose 帧）。
• SeqPix2Pix 模型在重建姿态图像（w）的条件下生成最终视频帧（y），并结合时间一致性。
• VAE 与编码器和解码器联合训练，以学习用于姿态表示的紧凑且抽象的潜在空间。
• 系统采用感知损失和时间一致性损失（λ₁=10.0，λ₂=10.0）以提升视觉质量和运动平滑度。
• 该架构使用真实讲座视频画面及其对应音频，以监督方式训练。

实验结果

研究问题

• RQ1 完全端到端的深度学习框架能否从任意长度的音频旁述中合成逼真、全姿态的讲座视频？
• RQ2 基于姿态的潜在编码表示在从音频实现高保真度视频合成方面的有效性如何？
• RQ3 感知损失与时间一致性损失对生成视频帧的真实感与连贯性有何影响？
• RQ4 LumièreNet 的模块化设计与端到端或传统计算机视觉方法相比，在视频合成质量上表现如何？
• RQ5 该模型在不同讲师、手势和音频内容长度上的泛化能力如何？

主要发现

• 结合感知损失与时间一致性约束（λ₁=10.0，λ₂=10.0）的 SeqPix2Pix 模型在视觉质量方面显著优于基线模型，尤其在眼睛与嘴巴对齐方面表现突出。
• 该模型实现了视觉上令人信服的结果，手部与身体动作流畅自然，发丝与衣物运动逼真。
• 尽管感知质量较高，模型在眼睛对称性与手指细节方面仍存在轻微伪影，快速运动时牙齿显得模糊。
• 定量指标（MSE、PSNR、SSIM）显示，SeqPix2Pix 模型的 SSIM 得分最低，表明传统指标可能无法完全反映感知质量。
• 系统成功从两段不同音频旁述生成了全长讲座视频，展示了在内容与长度上的可扩展性与泛化能力。
• 基于 DensePose 的潜在编码实现了在给定姿态表示下音频与视频的条件独立性，提升了训练稳定性和生成质量。