[论文解读] KSoF: The Kassel State of Fluency Dataset -- A Therapy Centered Dataset of Stuttering

Sebastian P. Bayerl, Alexander Wolff von Gudenberg+3 more|arXiv (Cornell University)|Mar 10, 2022

Stuttering Research and Treatment被引用 12

一句话总结

KSoF 提供了一个新颖的、以治疗为中心的德语口吃语音数据集，包含来自接受流畅性塑造疗法的个体的 5,500 个标注片段。该数据集涵盖六种不流畅类型——阻断、延长、音素重复、词重复、插入词和语音修饰——支持口吃及治疗相关语音变化的自动检测，尽管训练数据有限，W2V2 特征在基线模型中仍表现出色。

ABSTRACT

Stuttering is a complex speech disorder that negatively affects an individual's ability to communicate effectively. Persons who stutter (PWS) often suffer considerably under the condition and seek help through therapy. Fluency shaping is a therapy approach where PWSs learn to modify their speech to help them to overcome their stutter. Mastering such speech techniques takes time and practice, even after therapy. Shortly after therapy, success is evaluated highly, but relapse rates are high. To be able to monitor speech behavior over a long time, the ability to detect stuttering events and modifications in speech could help PWSs and speech pathologists to track the level of fluency. Monitoring could create the ability to intervene early by detecting lapses in fluency. To the best of our knowledge, no public dataset is available that contains speech from people who underwent stuttering therapy that changed the style of speaking. This work introduces the Kassel State of Fluency (KSoF), a therapy-based dataset containing over 5500 clips of PWSs. The clips were labeled with six stuttering-related event types: blocks, prolongations, sound repetitions, word repetitions, interjections, and - specific to therapy - speech modifications. The audio was recorded during therapy sessions at the Institut der Kasseler Stottertherapie. The data will be made available for research purposes upon request.

研究动机与目标

• 为解决公开可用的、以治疗为重点的口吃语音数据集缺乏标注语音变化的问题。
• 实现在真实场景中对口吃严重程度和治疗进展进行客观、长期的监测。
• 支持在临床和日常情境中自动检测不流畅类型和语音变化的系统开发。
• 通过仅接受少量培训的非专业人士听众提高口吃标注的可靠性。
• 通过将标签与现有最大的口吃语音语料库（UCLASS）对齐，促进跨语言迁移学习。

提出的方法

• 从卡塞尔口吃治疗研究所的治疗会话中收集了超过 5,500 个音频片段，重点关注接受过流畅性塑造疗法的个体。
• 对每个片段标注了六种不流畅类型：阻断、延长、音素重复、词重复、插入词和语音修饰。
• 采用按说话人进行五折交叉验证的一对多二分类方法评估检测性能。
• 使用 openSMILE 提取低层级声学特征，使用 W2V2（wav2vec2.0）提取上下文语音表征作为模型输入。
• 训练并比较了多种模型：使用 openSMILE 特征的 SVM、使用 W2V2 嵌入的 SVM，以及 LSTM 和 LSTM-注意力网络。
• 开展了跨语言迁移学习实验，评估在相关数据上使用预训练模型带来的性能提升。

实验结果

研究问题

• RQ1 以治疗为中心并标注语音变化的数据集是否能提升对口吃语音中不流畅类型检测的性能？
• RQ2 在仅接受少量培训的情况下，非专业人士听众的标注是否可靠？该方法能否在不降低质量的前提下降低标注成本？
• RQ3 预训练语音表征（如 W2V2）在检测多种口吃类型时，是否显著优于手工设计的声学特征（如 openSMILE）？
• RQ4 为何某些不流畅类型（尤其是词重复）更难检测？导致这一挑战的因素有哪些？
• RQ5 能否通过利用现有语料库（如 UCLASS）进行迁移学习，提升在 KSoF 数据集上的检测性能？

主要发现

• 基于 W2V2 的 SVM 模型在所有不流畅类型中均取得最佳整体性能，表明自监督语音表征即使使用平均的片段级嵌入也具有强大的表征能力。
• 语音修饰是最容易被可靠检测的不流畅类型，可能因其在不同说话人之间具有一致且可学习的声学模式。
• 词重复是最具挑战性的检测对象，仅 3.8% 的片段包含正样本，且其声学特征与流利语音高度相似，需要更长的上下文感知能力。
• 与传统机器学习模型相比，LSTM 和 LSTM-attention 模型表现较差，可能由于训练数据不足及模型复杂度过高。
• 跨语言迁移学习在除词重复外的所有不流畅类型中均提升了性能，表明多语言预训练在口吃检测中具有潜力。
• 基线 openSMILE 特征优于 LSTM 模型，表明在数据有限的情况下，手工设计特征对本任务依然有效。