[论文解读] An Implementation of Multimodal Fusion System for Intelligent Digital Human Generation

Yingjie Zhou, Yaodong Chen+3 more|arXiv (Cornell University)|Oct 31, 2023

Diverse Topics in Contemporary Research被引用 5

一句话总结

本文提出了一种用于智能2D数字人生成的多模态融合系统，通过大型语言模型、语音克隆和图像到视频的合成技术，整合文本、语音和图像输入。该系统实现了与人物无关和与人物相关的数字人驱动、年龄转换、风格迁移以及超分辨率，实现了视觉质量与用户体验均达到最先进水平的高质量、交互式数字人视频。

ABSTRACT

With the rapid development of artificial intelligence (AI), digital humans have attracted more and more attention and are expected to achieve a wide range of applications in several industries. Then, most of the existing digital humans still rely on manual modeling by designers, which is a cumbersome process and has a long development cycle. Therefore, facing the rise of digital humans, there is an urgent need for a digital human generation system combined with AI to improve development efficiency. In this paper, an implementation scheme of an intelligent digital human generation system with multimodal fusion is proposed. Specifically, text, speech and image are taken as inputs, and interactive speech is synthesized using large language model (LLM), voiceprint extraction, and text-to-speech conversion techniques. Then the input image is age-transformed and a suitable image is selected as the driving image. Then, the modification and generation of digital human video content is realized by digital human driving, novel view synthesis, and intelligent dressing techniques. Finally, we enhance the user experience through style transfer, super-resolution, and quality evaluation. Experimental results show that the system can effectively realize digital human generation. The related code is released at https://github.com/zyj-2000/CUMT_2D_PhotoSpeaker.

研究动机与目标

• 通过使用AI自动化流程，解决传统数字人制作成本高、周期长的问题。
• 通过多模态输入（文本、语音、图像）实现交互式、个性化的数字人生成。
• 通过年龄转换、风格迁移、超分辨率和智能着装技术提升用户体验。
• 开发一种同时支持与人物无关和与人物相关的数字人驱动的系统，以实现灵活应用。
• 通过全面的图像和视频质量评估指标验证系统的有效性。

提出的方法

• 预处理包括通过大型语言模型（LLM）理解文本、提取语音特征，以及通过文本到语音（TTS）合成生成语音。
• 通过SAM模型对输入图像进行年龄转换，生成适用于个性化数字人的年龄调整面部图像。
• 通过与人物无关（SadTalker）和与人物相关（LiveSpeechPortraits）的驱动方法实现数字人视频生成，结合薄板样条运动模型（Thin-Plate-Spline-Motion-Model）进行运动重定向。
• 通过VITON-HD模型实现智能着装，以修改生成视频帧中的服装。
• 后处理包括通过DCT-Net进行风格迁移，使用BasicVSR++进行超分辨率处理，并通过VSFA、FastVQA、CGIQA和CPBD进行质量评估。
• 将所有组件整合为统一的端到端流水线，实现从多模态输入到数字人视频生成的全流程自动化。

Figure 1: Classification of digital human. The selected digital humans are from the DDH-QA [ 2 ] and SJTU-H3D [ 3 ] databases.

实验结果

研究问题

• RQ1 多模态融合系统能否有效从文本、语音和图像输入中生成高质量、交互式的2D数字人视频？
• RQ2 该系统在生成具有年龄转换和风格迁移功能的个性化数字人方面表现如何？
• RQ3 与现有基准相比，生成的数字人视频在视觉质量和感知质量方面表现如何？
• RQ4 与人物无关和与人物相关的驱动方法的集成在多大程度上提升了系统的灵活性与真实感？
• RQ5 超分辨率和风格迁移等后处理技术在提升用户体验方面的有效性如何？

主要发现

• 系统成功从多模态输入中生成逼真的2D数字人视频，包括面部和全身动画，如图3和图4所示。
• 所有生成视频的平均CPBD得分超过0.28，表明生成帧的模糊度低、清晰度高。
• CGIQA指标在所有测试案例中的平均值为0.57，表明在CG动画质量评估方面表现优异。
• VSFA得分范围为0.8445至0.9893，其中长发女性面部的最高得分为0.9893，表明感知视频质量极高。
• FAST-VQA得分始终高于0.6，其中短发女性面部的最佳得分为0.8802，证实了视频质量感知能力强劲。
• 系统在不同面部类型、服装和音频输入下均表现出稳健性能，证实了其良好的泛化能力。

Figure 2: The framework of the proposed intelligent digital human generation system.