[논문 리뷰] Stutter Diagnosis and Therapy System Based on Deep Learning

Gresha Bhatia, Binoy Saha외 3명|arXiv (Cornell University)|2020. 07. 13.

Stuttering Research and Treatment참고 문헌 4인용 수 6

한 줄 요약

이 논문은 MFCC 특징을 기반으로 한 게이팅된 순환 컨volution 신경망(Gated Recurrent CNN)을 사용하여 스터티 유형과 중증도를 분류하고, SVM 기반 에이전트를 통해 개인화된 치료법을 추천하는 딥러닝 기반 시스템을 제시한다. 이 시스템은 스터티 기술자와 치료 결과 간의 학습된 상관관계를 통해 정확한 분류와 개인화된 치료 추천을 달성한다.

ABSTRACT

Stuttering, also called stammering, is a communication disorder that breaks the continuity of the speech. This program of work is an attempt to develop automatic recognition procedures to assess stuttered dysfluencies and use these assessments to filter out speech therapies for an individual. Stuttering may be in the form of repetitions, prolongations or abnormal stoppages of sounds and syllables. Our system aims to help stutterers by diagnosing the severity and type of stutter and also by suggesting appropriate therapies for practice by learning the correlation between stutter descriptors and the effectiveness of speech therapies on them. This paper focuses on the implementation of a stutter diagnosis agent using Gated Recurrent CNN on MFCC audio features and therapy recommendation agent using SVM. It also presents the results obtained and various key findings of the system developed.

연구 동기 및 목표

• 음성 신호 분석을 통해 스터티 중증도와 유형을 자동으로 진단하는 시스템을 개발하는 것.
• 스터티 기술자(예: 반복, 연장, 정지)와 치료 효과성 간의 상관관계를 규명하는 것.
• 개별 스터티 프로파일에 기반해 치료를 개인화하는 치료법 추천 엔진을 설계하는 것.
• MFCC 특징에 기반한 게이팅된 순환 컨volution 신경망(Gated Recurrent CNN)이 스터티 분류에 얼마나 효과적인지 평가하는 것.
• 진단 및 치료 추천을 통합된 임상 의사결정 지원 시스템으로 통합하는 것.

제안 방법

• 스터티 진단 에이전트는 음성 샘플에서 추출한 멜 주파수 체르스터 계수(Mel-Frequency Cepstral Coefficients, MFCC) 특징에 대해 훈련된 게이팅된 순환 컨volution 신경망(Gated Recurrent Convolutional Neural Network, GR-CNN)을 활용한다.
• MFCC 특징은 음성의 스펙트럼적 특성을 표현하며, 비유창성과 관련된 시간적 및 주파수적 패턴을 캡처한다.
• 이 시스템은 스터티 유형(반복, 연장, 정지)을 분류하고 GR-CNN 아키텍처를 통해 중증도 수준을 추정한다.
• 별도의 치료법 추천 에이전트는 지지벡터기반기반(Support Vector Machine, SVM)을 사용하여 스터티 기술자와 효과적인 치료 개입 간의 맵핑을 수행한다.
• 이 시스템은 스터티 특징과 치료 결과 간의 레이블링된 데이터에서 학습하여 개인화된 추천을 가능하게 한다.
• 이 파이프라인은 진단 및 추천을 하나의 프레임워크로 통합하여 임상 적용을 위해 설계된다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 음성 특징에서 스터티 유형(반복, 연장, 정지)을 효과적으로 분류할 수 있는가?
• RQ2 MFCC 기반 특징과 함께 GR-CNN을 조합할 경우 스터티 중증도 및 유형 진단 정확도가 얼마나 향상되는가?
• RQ3 식별된 스터티 기술자에 기반해 SVM 기반 모델이 효과적인 치료법을 얼마나 잘 추천할 수 있는가?
• RQ4 특정 스터티 특성과 특정 음성 치료법의 성공 간 상관관계는 어떠한가?
• RQ5 통합된 시스템이 개인화된, 데이터 기반의 스터티 치료 추천을 제공할 수 있는가?

주요 결과

• 게이팅된 순환 컨볼루션 신경망(Gated Recurrent CNN)은 MFCC 특징을 사용하여 스터티 유형 분류에 높은 정확도를 달성하여 비유창성 탐지에 강력한 성능을 보였다.
• 이 시스템은 음성 신호 내 반복, 연장, 비정상적인 정지 간의 차이를 성공적으로 식별했다.
• SVM 기반 치료법 추천 에이전트는 스터티 기술자와 적절한 치료 개입 간의 효과적인 맵핑을 보였다.
• 진단 및 치료 추천의 통합은 개인의 스터티 프로파일에 기반한 개인화된 치료 제안을 가능하게 했다.
• 이 시스템은 스터티 평가 및 치료 계획 수립을 위한 실시간 임상 적용 잠재력을 보였다.
• 주요 발견은 자동 스터티 관리에 딥러닝과 지도학습을 활용할 수 있음을 강조한다.