[论文解读] Machine Learning for Stuttering Identification: Review, Challenges and Future Directions

Shakeel A. Sheikh, Md Sahidullah+2 more|arXiv (Cornell University)|Jul 8, 2021

Stuttering Research and Treatment被引用 5

一句话总结

本文全面综述了用于自动口吃识别的机器学习与深度学习方法，分析了语音特征、多模态数据以及注意力机制和自监督学习等先进模型。研究识别出数据稀缺、跨说话人泛化能力不足以及多模态融合等关键挑战，同时提出了构建稳健、实时口吃检测系统未来的研究方向。

ABSTRACT

Stuttering is a speech disorder during which the flow of speech is interrupted by involuntary pauses and repetition of sounds. Stuttering identification is an interesting interdisciplinary domain research problem which involves pathology, psychology, acoustics, and signal processing that makes it hard and complicated to detect. Recent developments in machine and deep learning have dramatically revolutionized speech domain, however minimal attention has been given to stuttering identification. This work fills the gap by trying to bring researchers together from interdisciplinary fields. In this paper, we review comprehensively acoustic features, statistical and deep learning based stuttering/disfluency classification methods. We also present several challenges and possible future directions.

研究动机与目标

• 为解决跨学科领域中机器学习在口吃识别应用方面缺乏全面综述的问题。
• 分析现有数据集、用于口吃不流畅性分类的语音特征以及统计学习与深度学习方法。
• 识别自动口吃识别系统（ASIS）中关键挑战，如数据稀缺、跨说话人差异性以及多模态融合问题。
• 提出未来研究方向，包括自监督学习、注意力机制以及多类型口吃检测，以提升系统鲁棒性与实时适用性。

提出的方法

• 对100余项使用机器学习与深度学习技术进行口吃识别的研究进行系统性综述。
• 对口吃检测中使用的语音特征（如韵律、频谱、动态特征）进行分类，并评估其在不同数据集上的表现。
• 评估结合音频与视觉线索（如唇部震颤、头部点头）的多模态方法，采用ResNet-based RNN等模型。
• 应用注意力机制聚焦于包含口吃的帧，从而提升对瞬态不流畅性的检测能力。
• 探索自监督学习框架，利用引导性视觉帧从音频中提取与口吃相关的表征。
• 分析多类型口吃检测，包括单个话语中同时存在的多种不流畅类型（重复、延长、阻塞）的检测。

实验结果

研究问题

• RQ1 哪些语音特征与多模态特征最有效地区分口吃性不流畅与正常言语？
• RQ2 深度学习模型，尤其是带有注意力机制的模型，如何提升对瞬态口吃事件的检测能力？
• RQ3 在开发实时、跨语言、跨说话人的口吃识别系统方面面临的主要挑战是什么？
• RQ4 自监督学习与多模态学习框架在有限标注数据条件下，如何增强口吃检测的表征学习能力？
• RQ5 现有数据集在多大程度上能够支持开发稳健且可泛化的口吃识别系统？

主要发现

• UCLASS数据集是口吃研究中最广泛使用的基准数据集，但其规模与多样性仍显不足。
• 结合音频与视觉线索（如头部点头、唇部震颤）的多模态方法在提升检测鲁棒性方面展现出潜力，尤其在噪声或条件多变的环境中。
• 注意力机制显著增强了模型对包含口吃的帧的关注，从而提高了对瞬态不流畅性的检测准确率。
• 由视觉帧引导的自监督学习框架能够以极少监督信号有效学习与口吃相关的声学表征。
• 仅有1项研究（Ghonem等）探讨了单个话语中多种口吃类型（如重复与延长）的联合检测，凸显了该领域的重大研究空白。
• 尽管深度学习技术取得进展，但由于数据稀缺与模型泛化能力问题，实时、便携且跨语言的口吃识别系统仍未实现。