[论文解读] Analyzing Utility of Visual Context in Multimodal Speech Recognition Under Noisy Conditions

Tejas Srinivasan, Ramon Sanabria+1 more|arXiv (Cornell University)|Jun 30, 2019

Speech and Audio Processing参考文献 27被引用 6

一句话总结

本文研究在音频噪声或损坏条件下，视觉上下文是否能提升多模态自动语音识别（MMASR）的性能。尽管多模态模型在干净条件下相比单模态模型最高可将词错误率（WER）降低4.2%，但在音频被遮蔽时，MMASR系统未能有效利用视觉输入，表明当前的融合方法无法增强对噪声的鲁棒性。

ABSTRACT

Multimodal learning allows us to leverage information from multiple sources (visual, acoustic and text), similar to our experience of the real world. However, it is currently unclear to what extent auxiliary modalities improve performance over unimodal models, and under what circumstances the auxiliary modalities are useful. We examine the utility of the auxiliary visual context in Multimodal Automatic Speech Recognition in adversarial settings, where we deprive the models from partial audio signal during inference time. Our experiments show that while MMASR models show significant gains over traditional speech-to-text architectures (upto 4.2% WER improvements), they do not incorporate visual information when the audio signal has been corrupted. This shows that current methods of integrating the visual modality do not improve model robustness to noise, and we need better visually grounded adaptation techniques.

研究动机与目标

• 评估在推理过程中音频信号受损时，视觉上下文在多模态ASR中的有效性。
• 探究当前MMASR模型能否通过视觉信息补偿缺失的音频，以模拟人类的心理声学行为。
• 评估MMASR模型在推理过程中对视觉输入错位或无关视觉信息的敏感程度。
• 识别现有视觉融合技术的局限性，这些局限性导致其在音频退化情况下缺乏鲁棒性。

提出的方法

• 以注意力机制训练了一个序列到序列的ASR模型作为单模态基线，编码器使用6层双向LSTM，解码器使用两层GRU。
• 提出了四种多模态变体：(1) 使用视觉特征初始化编码器隐藏状态，(2) 联合初始化编码器和解码器，(3) 通过拼接视觉与音频特征实现早期融合，(4) 晚期融合，将视觉特征输入注意力机制。
• 在推理过程中应用三种类型的音频遮蔽：在话语的开头、中间或末尾用静音遮蔽词语，以模拟信号损坏。
• 通过将音频与无关图像配对，开展非一致解码实验，以测试模型对视觉输入错位的敏感性。
• 使用词错误率（WER）作为主要指标，在PlacesAudio数据集上评估所有遮蔽和错位条件下的性能。
• 使用预训练的ResNet-50模型的全局平均池化视觉特征表示场景上下文，未使用空间注意力或目标级定位。

实验结果

研究问题

• RQ1 当推理过程中音频信号受损时，多模态ASR是否能利用视觉上下文？
• RQ2 与单模态基线相比，音频遮蔽（在话语不同位置）对多模态模型WER的影响如何？
• RQ3 多模态ASR模型在推理过程中对视觉输入错位或无关图像的敏感程度如何？
• RQ4 即使输入的是无关图像，多模态模型是否仍能超越单模态模型？这反映了视觉模态的使用情况如何？

主要发现

• 在干净条件下，MMASR模型相比单模态ASR最高可实现4.2%的WER降低，证实了在理想条件下视觉上下文的有益作用。
• 当音频被遮蔽（尤其是话语末尾），多模态模型的WER优势显著下降，表明在信号丢失期间未能有效利用视觉上下文。
• 即使输入的是无关图像，多模态模型仍比单模态模型最高低3.5%的WER，表明视觉输入未被有意义或一致地使用。
• 视觉输入错位导致的性能下降极小（WER增加约0.5%），表明模型在这些条件下并未依赖视觉模态进行识别。
• 通过全局平均池化实现的视觉特征融合不足以实现对音频退化情况下的鲁棒多模态适应。
• 当前MMASR架构未能实现预期的抗噪鲁棒性，凸显了视觉定位与模态交互设计中的关键缺陷。