[论文解读] Label-Synchronous Neural Transducer for End-to-End ASR

Keqi Deng, Philip C. Woodland|arXiv (Cornell University)|Jul 6, 2023

Speech Recognition and Synthesis被引用 4

一句话总结

本文提出标签同步神经转导器（LS-Transducer），一种无需预测空白标记的流式端到端自动语音识别（ASR）模型。该模型通过自回归积分-放电（AIF）机制生成标签级别的编码器表征，从而在融合预测网络输出前提取标签级别的编码表示，实现仅使用文本数据对预测网络进行直接微调。LS-Transducer 在跨域设置下相较标准神经转导器实现最高达19%的相对词错误率（WER）降低，在同域与跨域场景中均取得显著提升。

ABSTRACT

Neural transducers provide a natural way of streaming ASR. However, they augment output sequences with blank tokens which leads to challenges for domain adaptation using text data. This paper proposes a label-synchronous neural transducer (LS-Transducer), which extracts a label-level encoder representation before combining it with the prediction network output. Hence blank tokens are no longer needed and the prediction network can be easily adapted using text data. An Auto-regressive Integrate-and-Fire (AIF) mechanism is proposed to generate the label-level encoder representation while retaining the streaming property. In addition, a streaming joint decoding method is designed to improve ASR accuracy. Experiments show that compared to standard neural transducers, the proposed LS-Transducer gave a 10% relative WER reduction (WERR) for intra-domain Librispeech-100h data, as well as 17% and 19% relative WERRs on cross-domain TED-LIUM2 and AESRC2020 data with an adapted prediction network.

研究动机与目标

• 为解决端到端ASR中的领域自适应挑战，尤其是在目标领域标注数据稀缺的情况下。
• 消除神经转导器中对空白标记的预测，该预测会阻碍仅使用文本数据进行语言模型的有效自适应。
• 通过将预测网络与空白标记生成解耦，使其可作为独立的语言模型运行。
• 在保持流式推理能力的同时，提升对声学边界错误的对齐准确性和鲁棒性。
• 设计一种流式联合解码方法，在不增加延迟的前提下提升ASR准确率。

提出的方法

• LS-Transducer 通过在融合预测网络输出前提取标签级别的编码器表征，取代对空白标记的预测。
• 自回归积分-放电（AIF）机制通过使用可学习的注意力权重累积帧级别的编码器输出，生成标签级别的表征。
• AIF机制确保单调对齐，并在权重达到阈值1.0时进行分割，以输出标签表征，从而提升对边界不准确的鲁棒性。
• 预测网络与空白预测解耦，可仅使用文本数据进行预训练或微调，其行为类似于标准语言模型。
• 引入一种流式联合解码方法，在束搜索过程中优化搜索空间，提升准确率而不增加延迟。
• 通过实时处理输入帧并同步输出与标签级别表征，模型保持了流式推理能力。

Fig. 1 : Illustration of the CIF [ 14 ] mechanism. $\bm{\oplus}$ and $\bm{\otimes}$ denote addition and multiplication. $\mathbf{E}=(\bm{e_{1}},\cdots,\bm{e_{T}})$ represents the encoder output and $\bm{\alpha}=(\alpha_{1},\cdots,\alpha_{T})$ denotes predicted weights whose example values $(0.2,0.9,

实验结果

研究问题

• RQ1 能否重新设计神经转导器，以消除空白标记预测，同时保持流式推理和对齐准确性？
• RQ2 如何高效且稳健地为流式ASR生成标签级别的编码器表征？
• RQ3 当不再预测空白标记时，能否仅使用文本数据有效适应预测网络？
• RQ4 所提出的AIF机制在WER和鲁棒性方面是否优于现有方法（如连续积分-放电，CIF）？
• RQ5 LS-Transducer在同域与跨域ASR场景中是否均优于标准和因子化神经转导器模型？

主要发现

• 与标准神经转导器相比，LS-Transducer在同域LibriSpeech-100h数据上实现了10%的相对WER降低。
• 在跨域TED-LIUM2和AESRC2020数据上，LS-Transducer分别实现了17%和19%的相对WER降低，且预测网络已进行微调。
• AIF机制优于基线CIF方法，在干净LibriSpeech开发集上降低2.8个WER点，在其他集上降低2.4个WER点。
• 在标准Transformer-Pred T-T模型中预训练预测网络会降低性能，而LS-Transducer无需额外调整即可自然利用预训练语言模型且无性能下降。
• 在所有测试集上，LS-Transducer相比HAT和因子化T-T模型实现了8.1%至15.4%的相对WER降低，且在0.1%显著性水平下具有统计显著性。
• 所提出的流式联合解码方法通过在束搜索过程中优化搜索空间，提升了准确率，对整体性能增益有重要贡献。

Fig. 2 : Illustration of the proposed LS-Transducer. FC is a fully connected layer. $L$ and $V$ are the length and vocabulary size of label-level logits. $\bm{\oplus}$ denotes addition.