[论文解读] Deep Learning for Visual Speech Analysis: A Survey

Changchong Sheng, Gangyao Kuang+6 more|arXiv (Cornell University)|May 22, 2022

Subtitles and Audiovisual Media被引用 9

一句话总结

本综述全面回顾了深度学习在视觉语音分析中的应用，重点聚焦于视觉语音识别（VSR）与视觉语音生成（VSG）。它整合了近期进展、基准测试、挑战与未来方向，突出显示深度学习在提升识别与生成任务方面所发挥的双重作用，实现了最先进的性能表现，同时指出了在实际部署、隐私保护与鲁棒性方面存在的关键空白。

ABSTRACT

Visual speech, referring to the visual domain of speech, has attracted increasing attention due to its wide applications, such as public security, medical treatment, military defense, and film entertainment. As a powerful AI strategy, deep learning techniques have extensively promoted the development of visual speech learning. Over the past five years, numerous deep learning based methods have been proposed to address various problems in this area, especially automatic visual speech recognition and generation. To push forward future research on visual speech, this paper aims to present a comprehensive review of recent progress in deep learning methods on visual speech analysis. We cover different aspects of visual speech, including fundamental problems, challenges, benchmark datasets, a taxonomy of existing methods, and state-of-the-art performance. Besides, we also identify gaps in current research and discuss inspiring future research directions.

研究动机与目标

• 提供基于深度学习的视觉语音分析（VSA）方法的系统性与全面性综述，尤其关注VSR与VSG。
• 识别阻碍VSA系统实际部署的关键挑战与局限性。
• 分析基准数据集、评估协议以及VSR与VSG任务中的最先进（SOTA）性能表现。
• 强调尚未解决的实际问题，如实时推理、标签效率以及对对抗性攻击的鲁棒性。
• 提出未来研究方向，包括多语言VSA、隐私保护技术，以及在元宇宙与深度伪造检测中的应用。

提出的方法

• 将基于深度学习的VSA方法分类并分析为视觉语音识别（VSR）与视觉语音生成（VSG），强调其形式上的对偶性。
• 回顾在VSR与VSG中使用的代表性架构，如卷积神经网络（CNNs）、循环神经网络（RNNs）、Transformer与生成对抗网络（GANs），包括双学习与对抗性训练机制。
• 使用标准化基准（如LRS2、LRS3与Common Voice）评估性能，采用词错误率（WER）与弗雷chet音频距离（FAD）等指标。
• 研究自监督与标签高效学习范式，如跨模态对比学习与知识蒸馏，以减少对大规模标注数据的依赖。
• 讨论架构创新，如3D卷积神经网络、2D+1D卷积与注意力机制，以提升面部序列的时空建模能力。
• 提出集成先进传感器（如接触式运动传感器）以克服非接触式唇读在遮挡或光照不良条件下的局限性。

Figure 1 : Chronological milestones on visual speech analysis from 2016 to the present, including representative VSR and VSG methods, and audio-visual datasets. Handcrafted feature engineering methods dominated VSA until a transition took place in 2016 with the introduction of related deep networks.

实验结果

研究问题

• RQ1 在视觉语音识别与生成中，哪些核心挑战限制了其在实际场景中的部署？
• RQ2 在LRS2与LRS3等主要基准数据集上，深度学习模型的性能表现如何比较？
• RQ3 当前VSA系统在鲁棒性、隐私保护与实时推理方面存在哪些关键局限性？
• RQ4 自监督与标签高效学习如何降低对大规模标注数据集的依赖？
• RQ5 在元宇宙与多语言应用等新兴领域中，哪些未来研究方向最具前景？

主要发现

• 最先进的VSR模型在LRS3数据集上，通过端到端深度学习结合注意力机制与大规模预训练，已实现词错误率（WER）低于10%。
• 基于扩散模型与对抗性训练的VSG方法在视觉质量与时间一致性方面显著提升，FAD得分已接近真实语音视频的表现。
• 当前VSA系统在实时推理方面表现不佳，多数方法每帧处理时间超过100ms，限制了其在交互式系统中的实际部署。
• 现有VSA模型易受对抗性攻击与欺骗攻击影响，主流框架中尚未采用系统性的防御机制。
• 尽管面部数据具有高度敏感性，但隐私保护技术如联邦学习与同态加密在VSA领域仍处于探索阶段。
• 多语言VSA发展不足，大多数数据集与模型集中于英语，导致在全球多语言环境部署中存在显著差距。

Figure 3 : The two formal-dual fundamental problems of visual speech analysis. Top part: Visual speech recognition or lip reading; Bottom part: Visual speech generation or lip sequence generation.