[论文解读] End-to-End Multi-speaker Speech Recognition with Transformer

Xuankai Chang, Wangyou Zhang+3 more|arXiv (Cornell University)|Feb 10, 2020

Speech Recognition and Synthesis参考文献 28被引用 5

一句话总结

本论文提出在单通道与多通道场景下，采用Transformer模型实现端到端多说话人语音识别，用Transformer替代ASR后端的RNN，并修改自注意力机制以将上下文限制在局部片段，从而提升计算效率。在无混响的单通道与多通道设置下，相对WER分别降低40.9%和25.6%；在混响条件下，结合外部WPE去混响处理后，相对WER分别降低41.5%和13.8%。

ABSTRACT

Recently, fully recurrent neural network (RNN) based end-to-end models have been proven to be effective for multi-speaker speech recognition in both the single-channel and multi-channel scenarios. In this work, we explore the use of Transformer models for these tasks by focusing on two aspects. First, we replace the RNN-based encoder-decoder in the speech recognition model with a Transformer architecture. Second, in order to use the Transformer in the masking network of the neural beamformer in the multi-channel case, we modify the self-attention component to be restricted to a segment rather than the whole sequence in order to reduce computation. Besides the model architecture improvements, we also incorporate an external dereverberation preprocessing, the weighted prediction error (WPE), enabling our model to handle reverberated signals. Experiments on the spatialized wsj1-2mix corpus show that the Transformer-based models achieve 40.9% and 25.6% relative WER reduction, down to 12.1% and 6.4% WER, under the anechoic condition in single-channel and multi-channel tasks, respectively, while in the reverberant case, our methods achieve 41.5% and 13.8% relative WER reduction, down to 16.5% and 15.2% WER.

研究动机与目标

• 通过在单通道与多通道设置下，将端到端ASR模型中的RNN替换为Transformer，提升多说话人语音识别性能。
• 通过在神经波束成形前端的自注意力机制中仅限制于局部上下文窗口，降低标准Transformer在长序列信号处理中的高内存消耗。
• 通过集成外部WPE去混响预处理步骤，提升在混响环境中的鲁棒性。
• 利用空间化WSJ1-2mix语料库，在无混响与混响条件下评估所提架构的有效性。

提出的方法

• 在单通道与多通道设置下，将端到端ASR模型中的基于RNN的编码器-解码器替换为Transformer架构。
• 修改神经波束成形器掩码网络中的自注意力机制，使其仅在局部时间窗口内操作，从而降低内存与计算成本。
• 将加权预测误差（WPE）算法作为外部预处理步骤，以减少输入到ASR模型前的房间混响。
• 使用联合CTC与交叉熵损失联合训练端到端系统，使Transformer后端学习转录分离的语音流。
• 使用说话人区分编码器，在主识别编码器之前从混合语音中分离出多个说话人的语音。
• 通过结合无混响与去混响训练数据进行多条件训练，提升在真实环境下的鲁棒性。

实验结果

研究问题

• RQ1 在单通道与多通道语音识别中，Transformer是否能在端到端多说话人ASR中超越RNN？
• RQ2 如何在不牺牲性能的前提下，降低自注意力机制在长序列信号处理中的计算成本？
• RQ3 当与基于Transformer的模型结合时，外部WPE去混响处理在混响环境中能在多大程度上提升ASR性能？
• RQ4 在多通道多说话人识别中，完全基于Transformer的前端（掩码网络）是否优于基于RNN的前端？
• RQ5 所提模型在无混响与混响条件下，与先前基于RNN的系统相比性能如何？

主要发现

• 在单通道无混响条件下，基于Transformer的模型实现了40.9%的相对WER降低，评估集WER降至12.1%。
• 在多通道无混响条件下，模型实现了25.6%的相对WER降低，评估集WER降至6.4%。
• 在混响条件下，单通道设置中模型实现了41.5%的相对WER降低，经WPE预处理后，WER从28.21%降至16.50%。
• 结合WPE预处理后，多通道模型实现了13.8%的相对WER降低，评估WER降至15.24%。
• 在混响条件下，完全基于Transformer的前端性能略有下降，可能由于注意力窗口大小有限（约0.3秒），表明架构仍有优化空间。
• WPE预处理与Transformer后端的结合显著提升了系统鲁棒性，缩小了无混响与混响条件下性能差距。