[논문 리뷰] Parkinsonian Chinese Speech Analysis towards Automatic Classification of Parkinson's Disease

Hao Fang, Gong Chen외 3명|arXiv (Cornell University)|2021. 05. 31.

Voice and Speech Disorders참고 문헌 18인용 수 4

한 줄 요약

이 연구는 파킨슨병(PD)을 음성으로 분류하기 위해 새로운 중국어 말하기 코퍼스를 제안하고, 다양한 기계학습 및 딥러닝 방법을 평가한다. 자유형 이미지 기술 작업을 통해 94.0%의 정확도를 달성하여 최신 기술을 초월하며, 이는 초기 PD 진단에서 자연스러운 음성이 구조화된 작업보다 더 뛰어난 성능을 보임을 보여준다.

ABSTRACT

Speech disorders often occur at the early stage of Parkinson's disease (PD). The speech impairments could be indicators of the disorder for early diagnosis, while motor symptoms are not obvious. In this study, we constructed a new speech corpus of Mandarin Chinese and addressed classification of patients with PD. We implemented classical machine learning methods with ranking algorithms for feature selection, convolutional and recurrent deep networks, and an end to end system. Our classification accuracy significantly surpassed state-of-the-art studies. The result suggests that free talk has stronger classification power than standard speech tasks, which could help the design of future speech tasks for efficient early diagnosis of the disease. Based on existing classification methods and our natural speech study, the automatic detection of PD from daily conversation could be accessible to the majority of the clinical population.

연구 동기 및 목표

• 자연스러운 대화, DDK, 시 낭독 등 다양한 음성 작업을 포함한 새로운 중국어 말하기 코퍼스를 개발하여 파킨슨병(PD) 연구에 기여한다.
• 음성 신호를 이용해 PD 환자와 건강한 대조군을 구분하는 데 있어 다양한 기계학습 및 딥러닝 방법의 효과성을 조사한다.
• 자연스럽고 구조화되지 않은 음성(예: 이미지 기술)이 표준화된 음성 작업보다 더 뛰어난 분류 성능을 보이는지 평가한다.
• 중국어를 모국어로 쓰는 사람들의 PD 관련 음성 장애를 가장 잘 구분하는 음성 특징을 특정한다.
• 일상생활 음성의 자동 분석을 통해 접근성 있고 모바일 친화적인 초기 진단 체계를 제공한다.

제안 방법

• 실제 환경(예: 휴대폰, 가정 환경)에서 기록한 34명의 PD 환자와 34명의 건강한 대조군을 포함한 새로운 중국어 음성 코퍼스를 구축했다.
• 주로 메르-주파수 페르스터 계수(MFCCs)를 음성 특징으로 사용하고, 차원 수를 줄이기 위해 순위 기반 알고리즘을 활용해 특징 선택을 수행했다.
• 기본 기계학습 모델(SVM(RBF 커널), KNN, 랜덤 포레스트)과 딥러닝 아키텍처(CNN, RNN, 엔드 투 엔드 시스템)를 활용해 분류를 수행했다.
• 주성분 분석(PCA)을 통해 감소된 차원(50D)의 특징에 대해 t-SNE 시각화를 수행하여 PD 및 건강한 그룹 간의 클래스 분리 가능성을 평가했다.
• 자유 대화(이미지 기술), 다이아도코키네틱 테스트(DDK), 구조화된 낭독(시 낭독)의 세 가지 음성 작업 간 성능을 비교했다.
• 교차 검증을 통한 모델 학습 최적화 및 분류 정확도(ACC)를 평가 지표로 성능을 평가했다.

실험 결과

연구 질문

• RQ1 자연스럽고 구조화되지 않은 음성(예: 이미지 기술)의 음성 특징이 표준화된 음성 작업보다 파킨슨병(PD) 분류 정확도에서 더 높은 성능을 보일 수 있는가?
• RQ2 특징 선택을 통한 전통 기계학습 방법과 딥러닝 모델 간의 성능은 중국어 음성에서 PD 분류에 있어 어떻게 비교되는가?
• RQ3 자유 대화, DDK, 시 낭독 중 어떤 음성 작업이 파킨슨병 검출에 가장 뛰어난 음성 패턴을 제공하는가?
• RQ4 MFCC 기반 특징과 차원 감소(PCA)는 파킨슨병 분류에서 모델의 일반화 능력과 분리 가능성 향상에 얼마나 기여하는가?
• RQ5 특정 작업에 맞게 설계되지 않은 엔드 투 엔드 딥러닝 시스템이 일상생활 음성에서 파킨슨병을 효과적으로 분류할 수 있는가?

주요 결과

• 자유 대화(이미지 기술) 작업이 94.0%의 가장 높은 분류 정확도를 기록하여 표준 작업(DDK: 83.5%, 시 낭독: 91.1%)을 뛰어넘었다.
• 특징 선택을 적용한 RBF-SVM 모델이 94.0%의 정확도를 달성하여, 이전에 보고된 모든 최신 기술(SOTA) 결과를 초월했다.
• t-SNE 시각화 결과, PCA 및 t-SNE 투영 후 선택된 특징 공간에서 PD와 건강한 음성 패턴 간에 명확한 분리가 이루어짐을 확인했다.
• 자연스러운 음성 작업은 파킨슨병 환자에서 더 뚜렷한 음성 운동 장애를 유도하여 분류 성능 향상에 기여함을 입증했다.
• 기존 기계학습 및 딥러닝 모델 모두 최신 기술 수준의 성능를 달성하여, 다양한 접근 방식 간의 강건성을 입증했다.
• 결과적으로 일상 대화에서의 자동 파킨슨병 진단이 가능하며, 이를 모바일 헬스 애플리케이션에 통합하여 확장 가능한 초기 진단 체계로 활용할 수 있음을 시사한다.