[论文解读] From Inference to Generation: End-to-end Fully Self-supervised Generation of Human Face from Speech

Hyeong-Seok Choi, Changdae Park+1 more|arXiv (Cornell University)|Apr 13, 2020

Speech and Audio Processing参考文献 28被引用 13

一句话总结

本文提出了一种端到端、完全自监督的框架，仅通过语音波形直接生成高质量的人脸图像，无需任何人工标注数据。通过训练用于跨模态身份匹配的推理网络，并将其与使用新型相对身份生成对抗网络损失（relidGANs）的条件生成对抗网络（cGAN）相结合，该模型成功将与语音相关的人脸身份因素与无关的面部属性解耦，实现了在人脸生成与语音检索任务上的最先进性能。

ABSTRACT

This work seeks the possibility of generating the human face from voice solely based on the audio-visual data without any human-labeled annotations. To this end, we propose a multi-modal learning framework that links the inference stage and generation stage. First, the inference networks are trained to match the speaker identity between the two different modalities. Then the trained inference networks cooperate with the generation network by giving conditional information about the voice. The proposed method exploits the recent development of GANs techniques and generates the human face directly from the speech waveform making our system fully end-to-end. We analyze the extent to which the network can naturally disentangle two latent factors that contribute to the generation of a face image - one that comes directly from a speech signal and the other that is not related to it - and explore whether the network can learn to generate natural human face image distribution by modeling these factors. Experimental results show that the proposed network can not only match the relationship between the human face and speech, but can also generate the high-quality human face sample conditioned on its speech. Finally, the correlation between the generated face and the corresponding speech is quantitatively measured to analyze the relationship between the two modalities.

研究动机与目标

• 探究是否仅使用自监督音视频数据即可从语音信号生成人脸图像。
• 开发一种完全端到端的框架，实现推理与生成阶段的无缝连接，无需人工标注标签。
• 将与身份相关的声音因素从无关的面部属性中解耦，构建解耦的潜在空间以提升生成保真度。
• 设计一种新型损失函数，以增强生成人脸与输入语音之间的一致性。
• 在自监督设置下，验证模型在推理、生成和人脸检索任务中的性能表现。

提出的方法

• 采用两阶段框架：首先，使用自监督对比学习训练语音和人脸编码器，实现跨模态身份匹配。
• 将训练好的语音编码器用于生成伪条件嵌入，供条件生成对抗网络（cGAN）生成器使用。
• 提出一种新型的相对身份 cGAN 损失（relidGANs），通过惩罚不匹配的面部-语音配对，提升身份判别能力。
• 生成器基于语音编码嵌入和随机噪声向量联合生成人脸图像，以建模与语音无关的面部属性。
• 判别器被训练以区分真实与虚假的面部-语音配对，其中 relidGANs 损失进一步增强了身份一致性。
• 该框架仅使用来自‘真实场景’录音的原始音频和视频数据，实现了端到端训练。

实验结果

研究问题

• RQ1 完全自监督的模型是否能够在无任何人工标注数据的情况下，学习到语音与人脸之间的说话人身份匹配？
• RQ2 生成模型是否能够仅基于语音波形生成高保真度的人脸图像？
• RQ3 该模型在多大程度上能够将与语音相关的人脸身份因素与无关的面部属性解耦？
• RQ4 与标准 cGAN 相比，所提出的 relidGANs 损失是否能提升生成人脸图像的身份一致性？
• RQ5 当将生成的人脸图像用作查询进行人脸检索时，其对说话人身份的保留程度如何？

主要发现

• 在两分类人脸-语音匹配任务中，推理网络对生成人脸的对应语音匹配准确率达到 79.68%。
• 在两分类人脸-语音匹配测试中，当使用生成的人脸作为输入时，推理网络对正确语音片段的选择准确率达到 95.14%。
• 使用 L1 距离的模型在人脸检索任务中达到 12.97% 的 top-1 准确率，优于 Speech2Face 模型的 8.34%，证明了 relidGANs 损失的有效性。
• 当移除不匹配身份损失（mil）后，模型的 top-1 检索准确率仅降至 7.32%，证实了 relidGANs 损失的关键作用。
• Top-5 检索结果表明，模型始终能检索到正确说话人的面部图像，显示出强大的身份保留能力。
• 定量分析表明，relidGANs 损失通过增强 GAN 训练过程中的判别能力，显著提升了身份一致性和生成质量。