[论文解读] Attentive Fusion Enhanced Audio-Visual Encoding for Transformer Based Robust Speech Recognition

Liangfa Wei, Jie Zhang+2 more|arXiv (Cornell University)|Aug 6, 2020

Speech and Audio Processing参考文献 24被引用 9

一句话总结

本文提出了一种基于注意力融合增强的音视频编码方法，用于基于Transformer的鲁棒语音识别，将基于多头注意力的融合模块直接集成到编码器中，以联合建模音频和视觉特征。与最先进方法相比，该方法在干净、已见和未见噪声条件下，平均识别准确率分别提升了0.55%、4.51%和4.61%。

ABSTRACT

Audio-visual information fusion enables a performance improvement in speech recognition performed in complex acoustic scenarios, e.g., noisy environments. It is required to explore an effective audio-visual fusion strategy for audiovisual alignment and modality reliability. Different from the previous end-to-end approaches where the audio-visual fusion is performed after encoding each modality, in this paper we propose to integrate an attentive fusion block into the encoding process. It is shown that the proposed audio-visual fusion method in the encoder module can enrich audio-visual representations, as the relevance between the two modalities is leveraged. In line with the transformer-based architecture, we implement the embedded fusion block using a multi-head attention based audiovisual fusion with one-way or two-way interactions. The proposed method can sufficiently combine the two streams and weaken the over-reliance on the audio modality. Experiments on the LRS3-TED dataset demonstrate that the proposed method can increase the recognition rate by 0.55%, 4.51% and 4.61% on average under the clean, seen and unseen noise conditions, respectively, compared to the state-of-the-art approach.

研究动机与目标

• 通过利用视觉模态信息，提升在噪声环境下的自动语音识别鲁棒性。
• 解决现有端到端音视频融合方法在模态编码后进行融合的局限性，避免模态间交互利用不足的问题。
• 设计一种融合策略，通过在编码过程中整合音视频对齐与可靠性信息，增强表征学习能力。
• 评估在多样化噪声条件下，采用注意力机制的早期融合策略对提升识别准确率的有效性。
• 证明所提出方法在未见噪声场景下的泛化能力。

提出的方法

• 在Transformer编码器中集成注意力融合模块，实现在编码过程中联合学习音视频表征，而非编码后进行融合。
• 采用单向或双向模态交互的多头注意力机制，以建模跨模态依赖关系。
• 以音视频拼接作为融合模块的输入，随后通过自注意力机制学习模态对齐与相关性。
• 在编码器的多个层中应用融合模块，逐步增强表征的跨模态上下文信息。
• 采用早期融合策略，即在解码器之前融合音频与视觉特征，避免晚期融合方法中解码器过载的问题。
• 采用共享注意力机制，使一个模态能够动态关注另一模态，实现对可靠模态的动态加权。

实验结果

研究问题

• RQ1 与编码后融合相比，在编码器内集成音视频融合是否能提升低信噪比（SNR）语音识别的鲁棒性？
• RQ2 在不同噪声条件下，所提出的注意力融合机制与简单拼接或晚期融合相比，其WER表现如何？
• RQ3 所提出方法是否能泛化到训练集中未包含的噪声类型（如buccaneer2噪声）？
• RQ4 在高SNR与低SNR条件下，双向与单向模态交互对性能的影响有何差异？
• RQ5 该融合机制是否能降低在噪声环境中对音频模态的过度依赖？

主要发现

• 所提出的注意力融合增强型早期融合方法，在干净条件下相比基线模型，平均WER降低0.55%。
• 在已见噪声（babble噪声）条件下，相比最先进基线，该方法实现相对WER降低4.51%。
• 在未见噪声（buccaneer2）条件下，该方法平均WER降低4.61%，展现出强大的泛化能力。
• AV-align融合模块在低SNR条件下优于AV-concat与AV-cross，表明其具备更强的鲁棒性。
• AV-cross方法在高SNR下表现优于AV-align，但在低SNR下性能迅速下降，表明其对视觉流噪声污染较为敏感。
• 在所有噪声条件下，采用注意力融合模块的早期融合策略始终优于中间融合与晚期融合策略。