[论文解读] Convolutional Neural Networks and Language Embeddings for End-to-End Dialect Recognition

Suwon Shon, Ahmed Ali+1 more|arXiv (Cornell University)|Mar 12, 2018

Speech Recognition and Synthesis参考文献 11被引用 10

一句话总结

本文提出了一种端到端的卷积神经网络（CNN）系统，用于使用声学特征（MFCC、FBANK、频谱图）和孪生神经网络从语言特征中学习语言嵌入的阿拉伯语方言识别。最佳融合系统在MGB-3数据集上达到78%的准确率，数据集增强和语言嵌入显著提升了系统的鲁棒性和性能。

ABSTRACT

Dialect identification (DID) is a special case of general language identification (LID), but a more challenging problem due to the linguistic similarity between dialects. In this paper, we propose an end-to-end DID system and a Siamese neural network to extract language embeddings. We use both acoustic and linguistic features for the DID task on the Arabic dialectal speech dataset: Multi-Genre Broadcast 3 (MGB-3). The end-to-end DID system was trained using three kinds of acoustic features: Mel-Frequency Cepstral Coefficients (MFCCs), log Mel-scale Filter Bank energies (FBANK) and spectrogram energies. We also investigated a dataset augmentation approach to achieve robust performance with limited data resources. Our linguistic feature research focused on learning similarities and dissimilarities between dialects using the Siamese network, so that we can reduce feature dimensionality as well as improve DID performance. The best system using a single feature set achieves 73% accuracy, while a fusion system using multiple features yields 78% on the MGB-3 dialect test set consisting of 5 dialects. The experimental results indicate that FBANK features achieve slightly better results than MFCCs. Dataset augmentation via speed perturbation appears to add significant robustness to the system. Although the Siamese network with language embeddings did not achieve as good a result as the end-to-end DID system, the two approaches had good synergy when combined together in a fused system.

研究动机与目标

• 解决由于方言之间语言相似性高而导致的阿拉伯语方言识别（DID）挑战。
• 开发一种基于声学特征的端到端深度学习系统，以超越传统i-vector方法的性能。
• 通过孪生神经网络探索语言嵌入，以降低语言特征的维度并增强方言区分能力。
• 研究数据增强技术（如速度扰动）以在训练数据有限的情况下提升鲁棒性。
• 融合声学与语言特征，以实现优于单一模态系统的性能。

提出的方法

• 使用三种声学特征类型（MFCC、对数梅尔滤波器组能量（FBANK）和频谱图能量）训练基于CNN的端到端DID系统。
• 通过随机语音片段分割以及音量/速度扰动实施数据增强，以增加训练数据的多样性并提升鲁棒性。
• 使用带有余弦相似度损失的孪生神经网络，从词、字符和音素级别的语言特征中学习方言特定的语言嵌入。
• 利用孪生网络将高维语言特征（例如41,657维的字符特征）压缩至200维嵌入。
• 通过加权平均融合多个系统的结果——端到端声学模型和语言嵌入系统——以提升性能。
• 在包含5种方言和73.7小时转录语音的MGB-3阿拉伯语方言语料库上评估性能。

实验结果

研究问题

• RQ1 在数据有限的情况下，基于CNN的端到端系统是否能超越传统i-vector方法在阿拉伯语方言识别中的表现？
• RQ2 不同声学特征表示（MFCC、FBANK、频谱图）在端到端DID中的有效性如何？
• RQ3 通过速度和音量扰动进行数据增强是否能提升低资源DID设置下的泛化能力和准确率？
• RQ4 孪生网络能否从语言特征中学习到有意义的语言嵌入，从而提升DID性能并降低维度？
• RQ5 在混合DID框架中，融合基于声学和语言特征的系统是否能带来性能增益？

主要发现

• 使用FBANK特征的最佳单系统在MGB-3测试集上达到73%的准确率，优于MFCC和频谱图基线。
• 融合多个声学与语言特征的系统达到78%的准确率，显著优于先前的最先进水平。
• 通过速度和音量扰动进行数据增强在原始特征上提升效果最显著（例如，频谱图特征准确率提升达22%），表明对较粗糙特征的收益更大。
• 语言嵌入将语言特征维度从41,657降低至200，同时EER降低约15%，证明了有效的特征压缩。
• 基于孪生网络的语言嵌入系统在各项指标上平均提升17%，其中基于词的特征表现最佳。
• 声学与语言嵌入系统的融合带来了协同增益，优于多个声学系统之间的融合，表明两种模态具有互补优势。