[论文解读] CALM: Contrastive Aligned Audio-Language Multirate and Multimodal Representations

Vin Sachidananda, Shao-Yen Tseng+3 more|arXiv (Cornell University)|Feb 8, 2022

Music and Audio Processing被引用 5

一句话总结

CALM 提出了一种对比性、多速率、多模态框架，通过谱 Transformer 和联合音频-语言预训练，将音频频谱图块与预训练语言模型嵌入对齐。该方法仅使用 8 块 V100 GPU 上数小时的训练，便在情感识别任务中达到最先进性能，相比先前系统提升 10–25%，即使使用自动语音识别转录文本亦然。

ABSTRACT

Deriving multimodal representations of audio and lexical inputs is a central problem in Natural Language Understanding (NLU). In this paper, we present Contrastive Aligned Audio-Language Multirate and Multimodal Representations (CALM), an approach for learning multimodal representations using contrastive and multirate information inherent in audio and lexical inputs. The proposed model aligns acoustic and lexical information in the input embedding space of a pretrained language-only contextual embedding model. By aligning audio representations to pretrained language representations and utilizing contrastive information between acoustic inputs, CALM is able to bootstrap audio embedding competitive with existing audio representation models in only a few hours of training time. Operationally, audio spectrograms are processed using linearized patches through a Spectral Transformer (SpecTran) which is trained using a Contrastive Audio-Language Pretraining objective to align audio and language from similar queries. Subsequently, the derived acoustic and lexical tokens representations are input into a multimodal transformer to incorporate utterance level context and derive the proposed CALM representations. We show that these pretrained embeddings can subsequently be used in multimodal supervised tasks and demonstrate the benefits of the proposed pretraining steps in terms of the alignment of the two embedding spaces and the multirate nature of the pretraining. Our system shows 10-25\% improvement over existing emotion recognition systems including state-of-the-art three-modality systems under various evaluation objectives.

研究动机与目标

• 学习联合音频-语言表征，使其在预训练语言模型的共享嵌入空间中对齐。
• 利用语音输入中的多速率（短期和长期）及对比信息，提升表征学习的效率与性能。
• 在低资源或噪声转录条件下，实现仅需极少微调的端到端多模态理解。
• 证明音频表征可有效从语言模型监督中进行自举，从而减少对大规模音频专用预训练的依赖。

提出的方法

• 谱 Transformer（SpecTran）处理线性化频谱图块，生成音频标记，实现在短时音频帧上的基于块的自注意力机制。
• 对比音频-语言预训练（CALP）通过在相似查询对上使用对比目标，将音频嵌入与对应预训练词嵌入对齐。
• 多模态 Transformer 整合音频与语言标记，结合话语级上下文，生成联合 CALM 表征。
• 框架结合掩码语言建模（MLM）与掩码音频建模（MAM）损失，实现音频与语言模态的联合预训练。
• 该模型支持单模态推理（仅音频或仅语言），并在下游任务上以极小微调实现端到端训练。

实验结果

研究问题

• RQ1 能否通过将音频表征对齐到预训练语言模型的嵌入空间，有效学习音频表征？
• RQ2 利用多速率（短期与长期）及对比信息是否能提升音频-语言表征学习？
• RQ3 轻量级对比预训练方法是否能在极短训练时间内实现情感识别的最先进性能？
• RQ4 当使用高词错误率的自动语音识别转录文本时，该方法的鲁棒性如何？

主要发现

• CALM 在多个评估目标上相比现有情感识别系统（包括最先进三模态模型）实现 10–25% 的相对性能提升。
• 该模型在 CMU-MOSEI 和 UTD MSP-Podcasts 数据集上均优于基线模型，仅通过预训练即在 CMU-MOSEI 上实现加权准确率 2% 的绝对提升。
• 即使 CALM 的 BERT_TINY 变体也优于其他最先进算法，证明其在参数量减少的情况下仍具备强大性能。
• CALM 预训练在 8 块 V100 GPU 上耗时不足 3 小时，相比其他多模态方法展现出极高的计算效率。
• 该模型对噪声自动语音识别转录文本具有鲁棒性，表现为使用 ASR 生成转录文本时仍表现强劲。