[论文解读] Does Visual Self-Supervision Improve Learning of Speech Representations?

Abhinav Shukla, Stavros Petridis+1 more|arXiv (Cornell University)|May 4, 2020

Speech and Audio Processing参考文献 30被引用 5

一句话总结

本文通过人脸重建进行视觉自监督，以提升音频表征学习，提出两种仅音频的自监督方法，并证明结合视觉与音频自监督可获得更丰富、更鲁棒的语音表征——在语音与情绪识别任务中实现最先进性能，尤其在小样本数据集上表现突出。

ABSTRACT

Self-supervised learning has attracted plenty of recent research interest. However, most works are typically unimodal and there has been limited work that studies the interaction between audio and visual modalities for self-supervised learning. This work (1) investigates visual self-supervision via face reconstruction to guide the learning of audio representations; (2) proposes two audio-only self-supervision approaches for speech representation learning; (3) shows that a multi-task combination of the proposed visual and audio self-supervision is beneficial for learning richer features that are more robust in noisy conditions; (4) shows that self-supervised pretraining leads to a superior weight initialization, which is especially useful to prevent overfitting and lead to faster model convergence on smaller sized datasets. We evaluate our audio representations for emotion and speech recognition, achieving state of the art performance for both problems. Our results demonstrate the potential of visual self-supervision for audio feature learning and suggest that joint visual and audio self-supervision leads to more informative speech representations.

研究动机与目标

• 探究通过人脸重建进行视觉自监督是否能增强音频表征学习。
• 提出两种新颖的仅音频自监督方法，用于语音表征学习。
• 评估结合视觉与音频自监督在提升特征质量与鲁棒性方面的有效性。
• 评估自监督预训练是否能带来更好的模型初始化，尤其在小样本数据集上。
• 在语音与情绪识别任务中实现最先进性能。

提出的方法

• 利用音频驱动的视觉特征进行人脸重建，作为视觉自监督信号，以指导音频表征学习。
• 提出两种仅音频的自监督目标，以在无需视觉数据的情况下提升语音表征学习。
• 在多任务学习框架中结合视觉与音频自监督，联合优化音频表征。
• 采用对比学习目标，利用所提出的自监督信号对音频编码器进行预训练。
• 在下游语音与情绪识别任务上微调预训练的音频表征。
• 采用共享编码器架构，并配合模态特定的头，以实现视觉与音频信号的联合优化。

实验结果

研究问题

• RQ1 通过人脸重建进行视觉自监督能否提升学习到的音频表征质量？
• RQ2 所提出的仅音频自监督方法在表征质量方面与视觉自监督相比如何？
• RQ3 结合视觉与音频自监督是否能带来更鲁棒且更具泛化能力的语音表征？
• RQ4 自监督预训练在多大程度上能改善模型收敛与泛化能力，尤其是在小样本数据集上？
• RQ5 所提出方法能否在语音与情绪识别任务中实现最先进性能？

主要发现

• 视觉与音频自监督的结合可生成更具信息量且更鲁棒的语音表征，尤其在噪声环境下表现更优。
• 自监督预训练提供了更优的权重初始化，有效减少小样本数据集上的过拟合现象，并加速收敛。
• 所提出的仅音频自监督方法即使在无视觉数据的情况下，也能提升表征学习效果。
• 通过人脸重建进行视觉自监督能有效引导音频表征学习，显著提升特征质量。
• 多任务方法在语音识别与情绪识别任务中均达到最先进性能。
• 实验结果表明，联合视觉与音频自监督在学习更丰富的语音表征方面具有巨大潜力。