[논문 리뷰] KSoF: The Kassel State of Fluency Dataset -- A Therapy Centered Dataset of Stuttering

Sebastian P. Bayerl, Alexander Wolff von Gudenberg외 3명|arXiv (Cornell University)|2022. 03. 10.

Stuttering Research and Treatment인용 수 12

한 줄 요약

KSoF는 5,500개의 레이블이 부여된 클립을 포함한 새로운 치료 중심의 독일어 스터티팅 발화 데이터셋을 소개한다. 이 데이터셋은 유창성 형성 치료를 받는 개인들로부터 수집되었으며, 블록, 연장, 소리 반복, 단어 반복, 중간말, 발화 수정 등 여섯 가지 비유창성 유형을 포함한다. 이는 자동으로 스터티팅과 치료적 발화 수정을 탐지할 수 있도록 하며, 제한된 학습 데이터에도 불구하고 W2V2 특징이 기본 모델에서 뛰어난 성능을 보임을 보여준다.

ABSTRACT

Stuttering is a complex speech disorder that negatively affects an individual's ability to communicate effectively. Persons who stutter (PWS) often suffer considerably under the condition and seek help through therapy. Fluency shaping is a therapy approach where PWSs learn to modify their speech to help them to overcome their stutter. Mastering such speech techniques takes time and practice, even after therapy. Shortly after therapy, success is evaluated highly, but relapse rates are high. To be able to monitor speech behavior over a long time, the ability to detect stuttering events and modifications in speech could help PWSs and speech pathologists to track the level of fluency. Monitoring could create the ability to intervene early by detecting lapses in fluency. To the best of our knowledge, no public dataset is available that contains speech from people who underwent stuttering therapy that changed the style of speaking. This work introduces the Kassel State of Fluency (KSoF), a therapy-based dataset containing over 5500 clips of PWSs. The clips were labeled with six stuttering-related event types: blocks, prolongations, sound repetitions, word repetitions, interjections, and - specific to therapy - speech modifications. The audio was recorded during therapy sessions at the Institut der Kasseler Stottertherapie. The data will be made available for research purposes upon request.

연구 동기 및 목표

• 공개된, 치료 중심의 스터티팅 발화 데이터셋 중 레이블이 부여된 수정 사항을 포함한 것이 부족한 문제를 해결하기 위해.
• 실생활 환경에서 스터티팅 심각도와 치료 진행 상황을 객관적이고 장기적으로 모니터링할 수 있도록 하기 위해.
• 임상적 및 일상 생활 환경에서 비유창성 유형과 발화 수정을 탐지하는 자동 시스템 개발을 지원하기 위해.
• 최소한의 훈련을 받은 비전문 청취자들이 제공하는 레이블의 신뢰성을 향상시켜(annotation cost) 품질을 유지할 수 있도록 하기 위해.
• 가장 큰 기존 스터티팅 발화 코퍼스(UCLASS)와 레이블을 정렬함으로써 다국어 간 전이 학습을 촉진하기 위해.

제안 방법

• 카세르 스토터터피아의 치료 세션에서 5,500개 이상의 오디오 클립을 수집하였으며, 이는 모두 유창성 형성 치료를 받은 개인들을 대상으로 하였다.
• 각 클립을 블록, 연장, 소리 반복, 단어 반복, 중간말, 발화 수정 등 여섯 가지 비유창성 유형으로 레이블링 하였다.
• 화자별로 5폴드 교차검증을 실시한 one-vs-all 이진 분류 접근법을 사용하여 탐지 성능을 평가하였다.
• 모델 입력을 위해 openSMILE를 사용해 저수준 음성 특징을 추출하고, W2V2(wav2vec2.0)를 사용해 문맥적 발화 표현을 추출하였다.
• 다양한 모델을 훈련하고 비교하였다: openSMILE 특징을 사용한 SVM, W2V2 임베딩을 사용한 SVM, LSTM/LSTM-attention 네트워크.
• 기존 데이터에서 사전 훈련된 모델을 활용함으로써 성능 향상을 확인하기 위해 다국어 간 전이 학습 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 치료 중심의 데이터셋에 레이블이 부여된 발화 수정 정보가 포함되어 있을 경우, 스터티팅 발화의 비유창성 유형 탐지 성능이 향상되는가?
• RQ2 최소한의 훈련만을 받은 비전문 청취자들이 작성한 레이블은 얼마나 신뢰할 수 있으며, 이 방법이 품질을 유지하면서도 레이블링 비용을 줄일 수 있는가?
• RQ3 자기학습된 음성 표현(예: W2V2)이 다양한 스터티팅 유형을 탐지하는 데에 수동으로 설계된 음성 특징(예: openSMILE)보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 특히 단어 반복과 같은 일부 비유창성 유형이 왜 더 어려운지, 이 도전 과제를 유도하는 요인은 무엇인가?
• RQ5 기존 코퍼스(UCLASS 등)에서의 전이 학습이 KSoF 데이터셋의 탐지 성능 향상에 기여하는가?

주요 결과

• W2V2 기반의 SVM 모델이 모든 비유창성 유형에서 가장 뛰어난 성능을 보였으며, 평균 클립 수준 임베딩을 사용함에도 불구하고 자기학습된 음성 표현의 강력한 표현 능력을 입증하였다.
• 발화 수정이 가장 신뢰성 있게 탐지된 비유창성 유형이었으며, 이는 화자 간 일관된 학습된 음성 패턴 덕분이었다.
• 단어 반복은 가장 탐지하기 어려운 유형이었으며, 양성 예제가 포함된 클립 비율이 오직 3.8%에 불과했고, 유창한 발화와의 음성 유사성으로 인해 더 긴 문맥 인식이 필요했다.
• LSTM 및 LSTM-attention 모델은 전통적인 기계학습 모델보다 성능이 열등했으며, 이는 학습 데이터 부족과 모델 복잡성 때문일 수 있다.
• 다국어 간 전이 학습은 단어 반복을 제외한 모든 비유창성 유형에서 성능 향상을 보였으며, 이는 다국어 사전 훈련된 모델을 스터티팅 탐지에 활용할 잠재력이 있음을 시사한다.
• 기본 openSMILE 특징이 LSTM 모델보다 뛰어난 성능을 보였으며, 이는 수동으로 설계된 특징이 데이터가 제한된 상황에서 여전히 이 작업에 효과적임을 시사한다.