[论文解读] Multitask-Based Joint Learning Approach To Robust ASR For Radio Communication Speech

Duo Ma, Nana Hou+3 more|arXiv (Cornell University)|Jul 22, 2021

Speech and Audio Processing参考文献 30被引用 11

一句话总结

该论文提出了一种基于多任务的联合学习框架，从零开始同时训练语音增强（SE）前端和端到端自动语音识别（ASR）后端，无需单独预训练。通过联合优化语音可懂度和ASR性能的损失函数，并保留相位信息，该方法在双通道数据增强下，使RATS英语数据集上的相对WER降低11.2%。

ABSTRACT

To realize robust end-to-end Automatic Speech Recognition(E2E ASR) under radio communication condition, we propose a multitask-based method to joint train a Speech Enhancement (SE) module as the front-end and an E2E ASR model as the back-end in this paper. One of the advantage of the proposed method is that the entire system can be trained from scratch. Different from prior works, either component here doesn't need to perform pre-training and fine-tuning processes separately. Through analysis, we found that the success of the proposed method lies in the following aspects. Firstly, multitask learning is essential, that is the SE network is not only learning to produce more Intelligent speech, it is also aimed to generate speech that is beneficial to recognition. Secondly, we also found speech phase preserved from noisy speech is critical for improving ASR performance. Thirdly, we propose a dual channel data augmentation training method to obtain further improvement.Specifically, we combine the clean and enhanced speech to train the whole system. We evaluate the proposed method on the RATS English data set, achieving a relative WER reduction of 4.6% with the joint training method, and up to a relative WER reduction of 11.2% with the proposed data augmentation method.

研究动机与目标

• 开发一种针对超高频（UHF）无线电通信语音的鲁棒端到端ASR系统，该语音受低信噪比（SNR）和带宽限制严重影响。
• 通过联合训练而非分别预训练，克服语音增强（SE）与ASR之间的不匹配问题。
• 研究相位保留和数据增强对极端噪声无线电通信条件下ASR性能的影响。
• 通过从零开始的端到端联合训练，消除对SE和ASR组件单独预训练或微调的需求。

提出的方法

• 采用基于多任务的联合学习方法，其中SE模块使用组合损失进行训练：(1−β)ℒASR + βℒSE，以平衡ASR性能与语音增强质量。
• 采用时频谱掩蔽方法进行SE，以STFT幅度为输入并保留相位信息，以提升识别效果。
• 引入双通道数据增强策略，在ASR训练中结合干净语音与增强语音，以提升鲁棒性。
• 在端到端ASR后端中使用Conformer架构，输入为80维对数梅尔特征，并采用字节对编码（BPE）分词。
• 在损失函数中引入干净数据加权因子γ，以平衡训练过程中干净语音与增强语音的贡献。
• 评估不同激活函数（ReLU、Mish、meta-ACON）在SE模块掩码估计中的表现，发现ReLU性能最佳。

实验结果

研究问题

• RQ1 从零开始联合训练语音增强与ASR是否能优于在超噪声无线电通信语音中采用单独训练或预训练的方法？
• RQ2 在增强语音中保留相位信息对提升下游ASR性能有多关键？
• RQ3 在低信噪比条件下，使用干净语音与增强语音的双通道数据增强策略在多大程度上提升了ASR鲁棒性？
• RQ4 在多任务损失函数中，ASR与SE目标的最佳平衡是什么？缩放因子β如何影响性能？
• RQ5 在联合学习设置中，SE掩码估计网络中哪种激活函数能获得最佳ASR性能？

主要发现

• 所提出的基于多任务的联合学习方法相比无数据增强的基线系统，实现了4.6%的相对WER降低。
• 在采用双通道数据增强后，该方法相比基线系统实现了11.2%的相对WER降低，表明在极端噪声条件下性能显著提升。
• 在增强语音中保留相位信息至关重要——若省略相位，WER高达68.6%（系统S5），表明性能严重下降。
• 在SE模块的掩码估计中使用ReLU作为激活函数时，ASR性能最佳（WER为51.8%），优于Mish（53.3%）和meta-ACON（52.9%）。
• 最优的干净数据加权因子γ为0.7，该设置在双通道多任务联合学习中实现了最低WER（48.2%）。
• 即使在无数据增强的情况下，通过多任务学习联合训练并保留相位信息，仍显著提升了性能，WER从54.3%降低至51.8%。