[论文解读] CSTNet: Contrastive Speech Translation Network for Self-Supervised Speech Representation Learning

Sameer Khurana, Antoine Laurent+1 more|arXiv (Cornell University)|Jun 4, 2020

Natural Language Processing Techniques参考文献 36被引用 9

一句话总结

CSTNet 提出了一种自监督对比学习框架，利用成对的语音-翻译数据，在无需人工标注的情况下从语音中学习语言表征。通过训练卷积语音编码器，利用对比学习检索对应的文本翻译，模型学习到有意义的语音和语言特征，在音素识别任务上达到最先进性能，ABX 误差率相比之前方法最高降低 8 个百分点。

ABSTRACT

More than half of the 7,000 languages in the world are in imminent danger of going extinct. Traditional methods of documenting language proceed by collecting audio data followed by manual annotation by trained linguists at different levels of granularity. This time consuming and painstaking process could benefit from machine learning. Many endangered languages do not have any orthographic form but usually have speakers that are bi-lingual and trained in a high resource language. It is relatively easy to obtain textual translations corresponding to speech. In this work, we provide a multimodal machine learning framework for speech representation learning by exploiting the correlations between the two modalities namely speech and its corresponding text translation. Here, we construct a convolutional neural network audio encoder capable of extracting linguistic representations from speech. The audio encoder is trained to perform a speech-translation retrieval task in a contrastive learning framework. By evaluating the learned representations on a phone recognition task, we demonstrate that linguistic representations emerge in the audio encoder's internal representations as a by-product of learning to perform the retrieval task.

研究动机与目标

• 开发一种仅使用成对语音与文本翻译数据的自监督学习框架，用于语音表征学习，尤其适用于无正字法的濒危语言。
• 探究通过语音-翻译检索任务训练的语音编码器中是否能涌现出语言表征。
• 证明在语音-翻译对上进行对比学习可生成高质量、低层次的语言表征，其性能可与最先进模型相媲美。

提出的方法

• 使用卷积神经网络（CNN）语音编码器从原始波形中提取语音表征。
• 模型采用对比学习框架，通过优化三元组损失，使匹配的语音-翻译对嵌入对齐，同时使不匹配对相互远离。
• 语音编码器与文本编码器联合训练，以生成语音-翻译检索任务的共享嵌入。
• 该框架在 MuST-C 数据集上进行训练，使用英语语音与法语、德语、西班牙语、葡萄牙语和意大利语的翻译配对数据。
• 通过下游任务（如音素识别和 ABX 任务）评估模型的语言表征质量。
• 基于 ABX 误差和音素识别性能选择最佳模型，从语音编码器的最后层提取特征。

实验结果

研究问题

• RQ1 仅使用成对语音与文本翻译数据进行自监督学习，能否在语音编码器中涌现出语言表征？
• RQ2 训练语音编码器执行语音-翻译检索任务，是否能比现有自监督方法带来更好的音素表征学习效果？
• RQ3 所学表征在下游任务（如音素识别和 ABX 评估）上的性能与最先进模型相比如何？

主要发现

• 当在英语-法语对上进行训练时，CSTNet 模型在 ZRC19 英语测试集上的 ABX 误差率为 29.2%，相比 Wavenet-VQ 基线模型降低 8 个百分点。
• 使用语音编码器最后一层的特征可实现最佳音素识别性能，在 WSJ eval92 数据集上，使用英语-法语模型的音素错误率为 29.2%。
• 在所有语言对中，英语-法语对训练的模型表现最佳，其在 WSJ 数据集上的音素错误率（PER）中，最佳与最差（英语-德语）之间相差 2.8 个百分点。
• 尽管未在视听数据上进行训练，CSTNet 模型在音素识别任务上仍比 ResDAVENet 提高 6 个百分点。
• 随着网络深度的增加，音素识别性能持续提升，所有语言对中，最后一层均取得最高性能。
• 结果表明，通过语音-翻译检索目标，语言信息（尤其是语音内容）被有效编码到语音编码器的内部表征中。