[论文解读] Multi-modality Associative Bridging through Memory: Speech Sound Recollected from Face Video

Minsu Kim, Joanna Hong+2 more|arXiv (Cornell University)|Apr 4, 2022

Speech and Audio Processing被引用 8

一句话总结

本文提出了一种基于记忆的多模态框架，通过在源键记忆中存储模态特异性表征、在目标值记忆中存储目标模态表征，实现音频与视觉之间的关联桥接，仅凭视觉输入即可回忆音频内容。该方法通过利用回忆的音频上下文，在无需共享潜在空间的情况下，实现了唇读和无声视频语音重建的最先进性能。

ABSTRACT

In this paper, we introduce a novel audio-visual multi-modal bridging framework that can utilize both audio and visual information, even with uni-modal inputs. We exploit a memory network that stores source (i.e., visual) and target (i.e., audio) modal representations, where source modal representation is what we are given, and target modal representations are what we want to obtain from the memory network. We then construct an associative bridge between source and target memories that considers the interrelationship between the two memories. By learning the interrelationship through the associative bridge, the proposed bridging framework is able to obtain the target modal representations inside the memory network, even with the source modal input only, and it provides rich information for its downstream tasks. We apply the proposed framework to two tasks: lip reading and speech reconstruction from silent video. Through the proposed associative bridge and modality-specific memories, each task knowledge is enriched with the recalled audio context, achieving state-of-the-art performance. We also verify that the associative bridge properly relates the source and target memories.

研究动机与目标

• 为解决单模态任务中的信息不足问题，实现在仅有视觉输入时的多模态知识增强。
• 克服现有融合方法与通用表征方法在音视频学习中的局限性，特别是异质模态对齐的困难。
• 设计一种保留模态特异性表征的同时，通过关联桥实现跨模态检索的框架。
• 在真实应用场景（如唇读和无声视频语音重建）中证明方法的有效性。

提出的方法

• 该框架采用双记忆架构：源键记忆存储视觉特征，目标值记忆存储音频特征，两者以配对形式存在。
• 在源键记忆与目标值记忆之间学习一种关联桥，以实现使用视觉表征作为键来查询目标记忆。
• 记忆网络允许在推理阶段仅凭视觉输入即可回忆音频，从而用上下文音频信息增强视觉输入。
• 使用模态特异性嵌入模块独立编码视觉与音频特征，以保留其独特表征。
• 通过基于注意力的寻址方式，直接连接源记忆与目标记忆，避免学习共享潜在空间。
• 系统在配对音视频数据上端到端训练，关联桥的优化目标是使视觉查询与相关音频记忆槽对齐。

实验结果

研究问题

• RQ1 基于记忆的框架是否能在不依赖共享潜在空间的情况下，有效实现音频与视觉模态的桥接？
• RQ2 视觉输入在仅使用回忆的音频上下文时，能否显著增强下游任务（如唇读和语音重建）的性能？
• RQ3 源记忆与目标记忆之间的关联桥是否能在不同说话人和发音方式下实现有意义的跨模态对齐？
• RQ4 与依赖通用表征学习或早期/晚期融合的现有方法相比，该方法在多大程度上表现更优？
• RQ5 注意力寻址向量在相似与不同发音内容之间，如何反映视觉到音频回忆的语义一致性？

主要发现

• 所提框架在LRW数据集上实现了85.41%的最先进词级唇读准确率，优于基线方法和基于通用表征的方法。
• 在无声视频的语音重建任务中，该框架通过利用视觉线索和基于记忆的音频回忆，有效恢复了语音准确的音频。
• t-SNE可视化结果表明，从视觉输入回忆的音频表征与真实音频表征高度对齐，证明了有效的跨模态迁移。
• 注意力寻址向量在不同说话人之间对相似发音表现出高度相似性，表明关联桥具有鲁棒且一致的桥接能力。
• 该框架优于依赖共享潜在空间的跨模态适应与知识蒸馏方法，证明了模态特异性记忆结合关联桥的优势。
• 可视化结果表明，关联桥能够学习将视觉输入映射到语义相关的音频记忆槽，即使在说话人变化的情况下也成立。