[논문 리뷰] Machine Learning for Stuttering Identification: Review, Challenges and Future Directions

Shakeel A. Sheikh, Md Sahidullah외 2명|arXiv (Cornell University)|2021. 07. 08.

Stuttering Research and Treatment인용 수 5

한 줄 요약

이 논문은 음성 특징, 다중모달 데이터, 그리고 주목적 메커니즘과 자기지도 학습과 같은 고급 모델을 포함한 기계 학습 및 딥 러닝 접근법을 통한 자동 스톨터링 식별에 대한 종합적인 리뷰를 제시한다. 데이터 부족, 다수의 말하는 사람 간 일반화 문제, 다중모달 통합 등 주요 과제를 규명하면서도, 강력하고 실시간 동작이 가능한 스톨터링 감지 시스템을 위한 향후 방향성을 제안한다.

ABSTRACT

Stuttering is a speech disorder during which the flow of speech is interrupted by involuntary pauses and repetition of sounds. Stuttering identification is an interesting interdisciplinary domain research problem which involves pathology, psychology, acoustics, and signal processing that makes it hard and complicated to detect. Recent developments in machine and deep learning have dramatically revolutionized speech domain, however minimal attention has been given to stuttering identification. This work fills the gap by trying to bring researchers together from interdisciplinary fields. In this paper, we review comprehensively acoustic features, statistical and deep learning based stuttering/disfluency classification methods. We also present several challenges and possible future directions.

연구 동기 및 목표

• 다양한 분야에서 기계 학습 응용에 대한 스톨터링 식별에 대한 종합적인 리뷰가 부족한 점을 보완하기 위해.
• 기존 데이터셋, 음성 특징, 그리고 스톨터링 불순화 분류에 사용된 통계적/딥 러닝 방법을 분석하기 위해.
• 데이터 부족, 말하는 사람 간 변동성, 다중모달 통합 등 자동 스톨터링 식별 시스템(ASIS)에서의 핵심 과제를 규명하기 위해.
• 자기지도 학습, 주목적 메커니즘, 다중 스톨터링 감지와 같은 향후 연구 방향을 제안하여 강건성과 실시간 적용 가능성을 향상시키기 위해.

제안 방법

• 기계 학습 및 딥 러닝 기법을 활용한 스톨터링 식별에 관한 100편 이상의 논문에 대한 체계적 리뷰.
• 스톨터링 감지에 사용된 음성 특징(예: 프로소딕, 스펙트럼, 동적)의 분류 및 각 데이터셋에서의 성능 평가.
• ResNet 기반 RNN 등의 모델을 활용한 청각적 신호(예: 입술 떨림, 머리 끄덕임)와 음성 신호를 융합한 다중모달 접근법 평가.
• 주목적 메커니즘을 적용하여 스톨터링가 포함된 프레임에 집중함으로써 일시적인 불순화 감지 성능 향상.
• 가이드된 시각적 프레임을 활용해 음성에서 스톨터링 특화 표현을 추출하기 위해 자기지도 학습 프레임워크 탐색.
• 단일 발화 내에서 혼합된 불순화 유형(반복, 연장, 정지)을 포함한 다중 스톨터링 감지 분석.

실험 결과

연구 질문

• RQ1 정상 언어와의 차이를 구분하기 위해 가장 효과적인 음성 특징과 다중모달 특징은 무엇인가?
• RQ2 특히 주목적 메커니즘이 탑재된 딥 러닝 모델은 일시적인 스톨터링 사건 감지를 어떻게 향상시키는가?
• RQ3 실시간, 다국어, 다수의 말하는 사람 간 일반화 가능한 스톨터링 식별 시스템 개발에서 주요 과제는 무엇인가?
• RQ4 자기지도 학습 및 다중모달 학습 프레임워크는 제한된 레이블이 있는 데이터로 스톨터링 감지에 적합한 표현 학습을 어떻게 향상시킬 수 있는가?
• RQ5 기존 데이터셋은 강건하고 일반화 가능한 스톨터링 식별 시스템 개발을 얼마나 잘 지원할 수 있는가?

주요 결과

• UCLASS 데이터셋은 스톨터링 연구에서 가장 널리 사용되는 벤치마크이지만, 크기와 다양성 측면에서 여전히 제한되어 있다.
• 청각적 신호(예: 머리 끄덕임, 입술 떨림)와 음성 신호를 융합한 다중모달 접근법은 특히 소음이 많거나 조건이 다양할 경우 감지의 강건성을 향상시키는 데 잠재력이 있다.
• 주목적 메커니즘이 스톨터링가 포함된 프레임에 집중함으로써 일시적인 불순화 감지 정확도를 크게 향상시킨다.
• 시각적 프레임을 가이드로 삼는 자기지도 학습 프레임워크는 최소한의 지도 신호로도 스톨터링 특화 음성 표현을 효과적으로 학습할 수 있다.
• 단 한 편의 논문(Ghonem et al.)만이 단일 발화 내에서 다양한 스톨터링 유형(예: 반복, 연장)을 동시에 감지한 바 있으며, 이는 주요 연구 격차를 드러낸다.
• 딥 러닝의 발전에도 불구하고, 데이터 부족과 모델 일반화 문제로 인해 실시간, 이식 가능하며 다국어 지원 가능한 스톨터링 식별 시스템은 아직 달성되지 못했다.