[논문 리뷰] Assessment of Parkinson's Disease Medication State through Automatic Speech Analysis

Anna Pompili, Rubén Solera-Ureña외 6명|arXiv (Cornell University)|2020. 05. 29.

Voice and Speech Disorders인용 수 4

한 줄 요약

이 연구는 자동 음성 분석을 활용하여 파킨슨병 환자의 약물 투여 상태(ON/OFF)를 분류하는 개인별 의존성 딥 러닝 시스템을 제안한다. 음성 기록에서 추출한 음향-프로소딕 특징(특히 eGeMAPS와 MFCC)을 활용하여 반자연스러운 이야기 전달 과제에서 95.27%의 정확도를 달성하여, 파킨슨병 환자의 약물 상태에 대한 원격, 일상적 모니터링의 강력한 잠재력을 보여준다.

ABSTRACT

Parkinson's disease (PD) is a progressive degenerative disorder of the central nervous system characterized by motor and non-motor symptoms. As the disease progresses, patients alternate periods in which motor symptoms are mitigated due to medication intake (ON state) and periods with motor complications (OFF state). The time that patients spend in the OFF condition is currently the main parameter employed to assess pharmacological interventions and to evaluate the efficacy of different active principles. In this work, we present a system that combines automatic speech processing and deep learning techniques to classify the medication state of PD patients by leveraging personal speech-based bio-markers. We devise a speaker-dependent approach and investigate the relevance of different acoustic-prosodic feature sets. Results show an accuracy of 90.54% in a test task with mixed speech and an accuracy of 95.27% in a semi-spontaneous speech task. Overall, the experimental assessment shows the potentials of this approach towards the development of reliable, remote daily monitoring and scheduling of medication intake of PD patients.

연구 동기 및 목표

• 파킨슨병 환자에서 ON 및 OFF 약물 투여 상태를 신뢰성 있게 구분할 수 있는 음성 기반 생물학적 지표가 존재하는지 조사하기 위해.
• 원격 모니터링를 위한 자동 음성 처리와 딥 러닝을 활용한 개인별 의존성 시스템을 개발하기 위해.
• 다양한 음성 과제(예: 독서, 이야기 전달)가 약물 상태 분류 정확도에 미치는 영향을 평가하기 위해.
• 다양한 음향-프로소딕 특징 세트(MFCC, delta-MFCC, eGeMAPS)가 약물 상태 분류에 얼마나 유용한지 평가하기 위해.
• 제한된 환자 음성 데이터로도 정확하고 개인 맞춤형 모델을 훈련시켜 임상 모니터링에 활용할 수 있는지 타당성을 탐색하기 위해.

제안 방법

• 각 환자의 개인 음성 데이터를 활용하여 약물 상태를 분류하는 개인별 의존성 딥 네트워크(DNN) 모델을 훈련시켰다.
• 다양한 음향-프로소딕 특징 세트를 추출함: MFCC, delta-MFCC, eGeMAPS로 음성의 스펙트럼, 동적 특성, 프로소딕 특성 표현.
• 원래 특징 공간의 95% 분산을 유지하면서 차원을 감소시키기 위해 주성분 분석(PCA)을 적용하였다.
• 세 가지 음성 과제에서 시스템을 평가함: /a/ 발성, 짧은 텍스트 독서, 지도된 반자연스러운 이야기 전달.
• 다양한 특징 세트와 음성 과제에서의 성능을 문장 수준 정확도로 측정하였다.
• FraLusoPark 코퍼스를 사용하였으며, 이는 74명의 포르투갈어 파킨슨병 환자가 약물 미투여 및 투여 상태에서 기록한 자료를 포함한다.

실험 결과

연구 질문

• RQ1 자신의 음성 기반 생물학적 지표를 활용해 자동 음성 분석이 파킨슨병 환자의 약물 투여 상태(ON 대비 OFF)를 신뢰성 있게 분류할 수 있는가?
• RQ2 음성 과제 선택(예: 독서 대비 이야기 전달)이 약물 상태 분류 정확도에 어떤 영향을 미치는가?
• RQ3 어느 음향-프로소딕 특징 세트(MFCC, delta-MFCC, eGeMAPS)가 약물 상태 탐지에 가장 높은 정확도를 제공하는가?
• RQ4 PCA를 통한 차원 감소가 모델 성능과 효율성에 얼마나 영향을 미치는가?
• RQ5 제한된 환자 음성 데이터로도 개인별 의존성 모델이 높은 정확도를 달성하여 실용적인 원격 모니터링가 가능할까?

주요 결과

• 혼합 음성 과제를 사용하여 약물 상태를 분류하는 데 90.54%의 정확도를 달성하여 강력한 기초 성능을 보였다.
• 반자연스러운 이야기 전달 과제에서 eGeMAPS 특징을 사용할 경우 최고의 정확도 95.27%를 기록하여 자연스러운 음성의 분류 가치를 입증하였다.
• PCA를 적용한 MFCC 기반 모델은 과제 전반에서 86.49–94.59%의 정확도를 기록하였으며, 이야기 전달 과제에서 가장 높은 성능를 보였다.
• PCA 적용으로 특징 차원이 최대 79.7% 감소했지만, eGeMAPS 및 MFCC+delta 시스템에서는 성능 저하를 초래하여 압축과 성능 간의 상충 관계를 시사하였다.
• 개인별 의존성 모델은 평균 83.78–95.27%의 높은 개인별 정확도를 보였으며, 표준편차는 12.51–14.67%로, 개인 간 일관된 성능을 보였다.
• 결과적으로 반자연스럽고 자연스러운 음성 기록이, 예를 들어 모음 발성과 같은 통제된 과제보다 약물 상태 변화 탐지에 훨씬 뛰어난 성능을 보임을 확인하였다.