[论文解读] Exploiting Spectral Augmentation for Code-Switched Spoken Language Identification

Pradeep Rangan, Sundeep Teki+1 more|arXiv (Cornell University)|Oct 14, 2020

Speech and Audio Processing被引用 14

一句话总结

该论文提出了一种基于语言掩码的谱增强方法，用于印度多语言语音中的代码切换口语语言识别（LID），其中时间掩码根据转录文本中的语言转换点进行策略性放置。该方法在三种语言对（古吉拉特语-英语、泰米尔语-英语、泰卢固语-英语）的语音级和帧级任务中，相较于微软基线模型，将LID准确率提升了3–5%，增强了对噪声的鲁棒性及语言区分能力。

ABSTRACT

Spoken language Identification (LID) systems are needed to identify the language(s) present in a given audio sample, and typically could be the first step in many speech processing related tasks such as automatic speech recognition (ASR). Automatic identification of the languages present in a speech signal is not only scientifically interesting, but also of practical importance in a multilingual country such as India. In many of the Indian cities, when people interact with each other, as many as three languages may get mixed. These may include the official language of that province, Hindi and English (at times the languages of the neighboring provinces may also get mixed during these interactions). This makes the spoken LID task extremely challenging in Indian context. While quite a few LID systems in the context of Indian languages have been implemented, most such systems have used small scale speech data collected internally within an organization. In the current work, we perform spoken LID on three Indian languages (Gujarati, Telugu, and Tamil) code-mixed with English. This task was organized by the Microsoft research team as a spoken LID challenge. In our work, we modify the usual spectral augmentation approach and propose a language mask that discriminates the language ID pairs, which leads to a noise robust spoken LID system. The proposed method gives a relative improvement of approximately 3-5% in the LID accuracy over a baseline system proposed by Microsoft on the three language pairs for two shared tasks suggested in the challenge.

研究动机与目标

• 为解决在多种语言（如古吉拉特语、泰卢固语和泰米尔语）与英语混合的代码切换印度多语言语音中进行口语语言识别（LID）的挑战。
• 通过将谱增强技术适配至代码切换语音模式，提升LID系统对噪声的鲁棒性及语言区分能力。
• 开发一种语言掩码，利用转录文本中的语言转换信息指导谱掩码，以增强模型的泛化能力。
• 在涉及单语与代码切换语音分类及帧级语言识别的共享任务中，超越现有基线系统。

提出的方法

• 从转录语音数据中生成语言掩码，识别语言转换位置（如英语与母语段落的分界），以指导谱掩码。
• 谱增强方法通过将随机时间掩码替换为基于转录文本中语言边界的感知掩码进行改进。
• 模型采用CNN-BiLSTM编码器结合连接时序分类（CTC）损失，对干净和掩码后的谱图进行端到端序列建模。
• 保留标准谱增强中的频率掩码和时间扭曲，但时间掩码的条件由语言转换点决定。
• 系统在干净和增强谱图上进行联合训练，以提升对代码切换模式的鲁棒性和泛化能力。
• 通过在两个共享任务（语音级分类和帧级语言识别）上的准确率和等错误率（EER）评估性能。

实验结果

研究问题

• RQ1 基于语言转换感知的谱增强是否能提升代码切换印度多语言语音中的口语LID性能？
• RQ2 在谱增强中使用源自转录的语义掩码，对模型在单语与代码切换语音之间的区分能力有何影响？
• RQ3 与随机掩码相比，所提出方法在多大程度上提升了噪声鲁棒性及帧级语言识别准确率？
• RQ4 将语言特异性掩码集成是否能提升在古吉拉特语-英语、泰米尔语-英语和泰卢固语-英语语音中多样代码切换模式下的泛化能力？

主要发现

• 所提出的基于语言掩码的谱增强方法在所有三种语言对（古吉拉特语-英语、泰米尔语-英语、泰卢固语-英语）上，相较于微软基线系统，LID准确率相对提升了3–5%。
• 在任务A（语音级分类）中，模型在古吉拉特语-英语上达到73.01%准确率（基线为71.9%），泰米尔语-英语为79.02%（基线为71.2%），泰卢固语-英语为78.65%（基线为74.0%）。
• 在任务B（帧级识别）中，使用贪婪解码时，模型在古吉拉特语-英语上达到75.72%准确率和7.53% EER，优于基线的66.79%和9.71% EER。
• 使用束搜索解码（束宽15）时，模型在古吉拉特语-英语上达到76.64%准确率和7.36% EER，优于基线的72.53%和8.54% EER。
• 性能提升在所有语言中均保持一致，其中泰米尔语-英语的相对提升最高，某些配置下准确率绝对提升达7.8%。
• 结果表明，语言感知掩码增强了模型检测细微语言转换的能力，并提升了对单语与代码切换语音的区分能力。