[论文解读] A Compact End-to-End Model with Local and Global Context for Spoken Language Identification

Fei Jia, Nithin Rao Koluguri+2 more|arXiv (Cornell University)|Oct 27, 2022

Speech Recognition and Synthesis被引用 4

一句话总结

TitaNet-LID 是一种紧凑的端到端神经网络，用于语音语言识别，通过结合一维深度可分离卷积和挤压-激励模块，捕捉局部与全局上下文信息。尽管模型参数量仅为当前最先进自监督学习（SSL）模型的十分之一，其在 FLEURS 基准测试中仍实现了 88.2% 的最先进准确率，并通过简单的微调，在短语音（<5 秒）上也表现出稳健性能。

ABSTRACT

We introduce TitaNet-LID, a compact end-to-end neural network for Spoken Language Identification (LID) that is based on the ContextNet architecture. TitaNet-LID employs 1D depth-wise separable convolutions and Squeeze-and-Excitation layers to effectively capture local and global context within an utterance. Despite its small size, TitaNet-LID achieves performance similar to state-of-the-art models on the VoxLingua107 dataset while being 10 times smaller. Furthermore, it can be easily adapted to new acoustic conditions and unseen languages through simple fine-tuning, achieving a state-of-the-art accuracy of 88.2% on the FLEURS benchmark. Our model is scalable and can achieve a better trade-off between accuracy and speed. TitaNet-LID performs well even on short utterances less than 5s in length, indicating its robustness to input length.

研究动机与目标

• 开发一种紧凑的端到端神经网络用于语音语言识别（LID），在最小化模型大小的同时保持高准确率。
• 通过简单的微调，实现在未见语言和新声学条件下的有效适应。
• 在短语音片段（<5 秒）上实现优异性能，此类语音在实际应用中极为常见。
• 提供一种可扩展的架构，在准确率与推理速度之间实现平衡，适用于计算资源受限的部署环境。
• 证明无需自监督预训练的轻量化模型，可在 LID 基准测试中达到甚至超越远大于其规模的 SSL 模型的性能。

提出的方法

• 模型采用受 ContextNet 启发的编码器结构，利用一维深度可分离卷积高效提取局部特征。
• 集成挤压-激励（SE）模块，通过重新校准通道特征响应，建模全局上下文信息。
• 编码器后接统计池化层及两层全连接层，生成固定长度的语音段级表征。
• 该架构具备可扩展性：通过重复块数量（R）调节模型深度，通过滤波器数量（C）调节模型宽度。
• 模型在 VoxLingua107 上从零开始端到端训练，并在 FLEURS 上进行微调，以实现对未见语言的零样本泛化。
• 实现代码通过 NVIDIA NeMo 发布，支持便捷部署与适配。

Figure 1: TitaNet-LID- $B$ x $R$ x $C$ Encoder is based on ContextNet architecture [ 20 ] , where $B$ is the number of blocks, $R$ is the number of repeated ``basic” blocks and $C$ is the number of filters in the convolution layers of each block.

实验结果

研究问题

• RQ1 一个结合局部与全局上下文机制的紧凑端到端模型，是否能在不依赖自监督预训练的情况下，实现语音语言识别的最先进性能？
• RQ2 在有限数据上进行微调后，该模型在未见语言和新声学条件下的泛化能力如何？
• RQ3 输入语音段长度对模型准确率的影响如何，特别是在短语音（<5 秒）场景下？
• RQ4 能否通过调整模型规模，有效平衡不同部署场景下的准确率与推理速度？
• RQ5 在准确率与参数效率方面，轻量化模型相较于大型 SSL 模型表现如何？

主要发现

• TitaNet-LID-3x5x1024（2900 万参数）在 FLEURS 基准测试中达到 88.2% 的宏平均准确率，较之前 SOTA 模型高出 16.8%。
• 在 VoxLingua107 上，模型以 2890 万参数实现 95.0% 的宏平均准确率，优于 2100 万参数的 ECAPA-TDNN-LID 基线模型。
• 在短语音（<5 秒）上，TitaNet-LID 仍保持优异性能，展现出对输入长度变化的强鲁棒性。
• 在 FLEURS 与 VoxLingua107 的联合数据集上进行微调后，模型可预测 127 种语言，宏平均准确率达 93.8%。
• 模型参数量仅为 XLS-R（0.3B）的十分之一，但在 VoxLingua107 上性能相当；参数量仅为 w2v-bert-51（0.6B）的二十分之一，且在 FLEURS 上表现更优。
• 通过增加滤波器数量（C）和块重复次数（R）对模型进行扩展，可进一步提升准确率，其中 TitaNet-LID-3x5x2048 达到 95.9% 的宏平均准确率。

Figure 2: Number of samples for each language in VoxLingua107 evaluation set. Dark blue represents accurately identified samples of TitaNet-LID-3x5x1024.