[论文解读] FluentNet: End-to-End Detection of Speech Disfluency with Deep Learning

Tedd Kourkounakis, Amirhossein Hajavi+1 more|arXiv (Cornell University)|Sep 23, 2020

Stuttering Research and Treatment参考文献 46被引用 9

一句话总结

FluentNet 是一种端到端深度学习模型，通过使用 Squeeze-and-Excitation 残差卷积神经网络进行频谱特征学习，双向长短期记忆网络（LSTM）进行时间建模，并结合全局注意力机制，能够检测六类语音不流畅现象——音素重复、词语重复、短语重复、更正、插入语和延长。该模型在 UCLASS 数据集上达到最先进性能，并在新创建的合成数据集 LibriStutter 上展现出良好的泛化能力。

ABSTRACT

Strong presentation skills are valuable and sought-after in workplace and classroom environments alike. Of the possible improvements to vocal presentations, disfluencies and stutters in particular remain one of the most common and prominent factors of someone's demonstration. Millions of people are affected by stuttering and other speech disfluencies, with the majority of the world having experienced mild stutters while communicating under stressful conditions. While there has been much research in the field of automatic speech recognition and language models, there lacks the sufficient body of work when it comes to disfluency detection and recognition. To this end, we propose an end-to-end deep neural network, FluentNet, capable of detecting a number of different disfluency types. FluentNet consists of a Squeeze-and-Excitation Residual convolutional neural network which facilitate the learning of strong spectral frame-level representations, followed by a set of bidirectional long short-term memory layers that aid in learning effective temporal relationships. Lastly, FluentNet uses an attention mechanism to focus on the important parts of speech to obtain a better performance. We perform a number of different experiments, comparisons, and ablation studies to evaluate our model. Our model achieves state-of-the-art results by outperforming other solutions in the field on the publicly available UCLASS dataset. Additionally, we present LibriStutter: a disfluency dataset based on the public LibriSpeech dataset with synthesized stutters. We also evaluate FluentNet on this dataset, showing the strong performance of our model versus a number of benchmark techniques.

研究动机与目标

• 开发一种端到端深度学习模型，以实现对多种类型语音不流畅现象的精确检测。
• 通过基于 LibriSpeech 创建合成数据集 LibriStutter，解决标注不流畅数据稀缺的问题。
• 超越简单的填充词检测，通过建模复杂的口吃模式来提升不流畅现象检测能力。
• 评估 Squeeze-and-Excitation 和注意力机制等关键组件在不流畅识别中的贡献。
• 在 UCLASS 等公开基准数据集以及新引入的 LibriStutter 数据集上，展示最先进性能。

提出的方法

• FluentNet 使用 Squeeze-and-Excitation（SE）残差卷积神经网络，从原始音频中学习鲁棒的频谱帧级表征。
• 采用双向长短期记忆（BLSTM）层，以建模口吃语音中的长程时间依赖关系。
• 在 BLSTM 层之后应用全局注意力机制，聚焦于语音中显著的片段，以提升不流畅分类性能。
• 模型采用交叉熵损失函数进行端到端训练，学习率为 $10^{-4}$，使用 Adam 优化。
• 通过在 UCLASS 数据集上进行超参数消融实验，最终确定架构为 8 个残差块和 2 个 BLSTM 层。
• 通过将合成口吃注入干净的 LibriSpeech 音频样本，构建了合成的不流畅数据集 LibriStutter。

实验结果

研究问题

• RQ1 端到端深度学习模型是否能够在检测多种类型语音不流畅现象方面达到最先进性能？
• RQ2 Squeeze-and-Excitation 和注意力机制等组件在不流畅检测性能中起到何种贡献？
• RQ3 该模型在模拟真实世界口吃模式的合成不流畅数据上的泛化能力如何？
• RQ4 该模型在多种不流畅类型上的表现如何，包括罕见或复杂模式（如更正和延长）？
• RQ5 当真实数据有限时，像 LibriStutter 这样的合成数据集能否作为训练不流畅检测模型的可行替代方案？

主要发现

• FluentNet 在 UCLASS 数据集上达到最先进性能，优于现有方法的不流畅分类表现。
• 在约 20 个训练周期后，模型在 UCLASS 数据集的所有不流畅类型上均达到接近完美的训练准确率。
• 消融实验表明，移除 Squeeze-and-Excitation 组件会导致所有不流畅类型中准确率最大下降和漏检率最大上升。
• 注意力机制对性能有显著贡献，其移除导致分类准确率明显下降。
• 模型在合成的 LibriStutter 数据集上表现出有效的泛化能力，尽管性能有所下降，但仍优于基线模型。
• 消融结果在 UCLASS 和 LibriStutter 上保持一致，证实了合成数据集的有效性与真实性。