[논문 리뷰] Combining Prosodic, Voice Quality and Lexical Features to Automatically Detect Alzheimer's Disease

Mireia Farrús, Joan Codina|arXiv (Cornell University)|2020. 11. 18.

Speech Recognition and Synthesis참고 문헌 30인용 수 5

한 줄 요약

이 논문은 자발적 발화에서 유도된 음성의 억양, 음질 및 어휘 특징을 조합한 다중모달 기계학습 접근법을 제안하여 알츠하이머병(AD)을 진단하고 Mini-Mental State Examination (MMSE) 점수를 예측한다. 균형 잡힌 108명의 참가자에게서 Random Forest 분류기를 사용하여 87.5%의 분류 정확도와 4.54의 RMSE를 기록하였으며, 이는 어휘 및 억양 특징이 음성 중심 접근법보다 조기 AD 진단에 있어 뚜렷한 향상을 이끌어낸다는 것을 보여준다.

ABSTRACT

Alzheimer's Disease (AD) is nowadays the most common form of dementia, and its automatic detection can help to identify symptoms at early stages, so that preventive actions can be carried out. Moreover, non-intrusive techniques based on spoken data are crucial for the development of AD automatic detection systems. In this light, this paper is presented as a contribution to the ADReSS Challenge, aiming at improving AD automatic detection from spontaneous speech. To this end, recordings from 108 participants, which are age-, gender-, and AD condition-balanced, have been used as training set to perform two different tasks: classification into AD/non-AD conditions, and regression over the Mini-Mental State Examination (MMSE) scores. Both tasks have been performed extracting 28 features from speech -- based on prosody and voice quality -- and 51 features from the transcriptions -- based on lexical and turn-taking information. Our results achieved up to 87.5 % of classification accuracy using a Random Forest classifier, and 4.54 of RMSE using a linear regression with stochastic gradient descent over the provided test set. This shows promising results in the automatic detection of Alzheimer's Disease through speech and lexical features.

연구 동기 및 목표

• 비침습적, 음성 기반 방법을 활용하여 알츠하이머병(AD)의 조기 진단을 향상시키기 위해.
• 억양, 음질 및 어휘 특징이 AD 환자와 비-AD 개인을 구분하는 데 얼마나 효과적인지 조사하기 위해.
• 자발적 발화 데이터를 활용하여 AD 진단 시스템의 표준화 부족 문제를 해결하기 위해.
• 통합된 특징 세트를 사용하여 분류(AD/비-AD) 및 회귀(MMSE 점수 예측) 작업을 동시에 평가하기 위해.
• 음성 중심 접근법에 비해 음성 및 언어적 특징의 조합이 AD 진단에서 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 말하기 속도, 잼블러, 샤이머, 조화성 등을 포함한 28개의 억양 및 음질 특징을 음성 신호에서 추출하였다.
• 단어 빈도, 대화 주기 길이, 인터뷰어 간섭 횟수 등을 포함한 51개의 어휘 및 대화 주기 특징을 음성의 텍스트화된 버전에서 추출하였다.
• AD 그룹과 비-AD 그룹 간에 유의미하게 다른 특징을 식별하기 위해 t-검정을 수행하였다.
• Random Forest, SVM, MLP 및 확률적 경사 하강법을 사용한 선형 회귀를 포함한 다수의 기계학습 모델을 훈련시켰다.
• 모델 평가를 위해 10겹 교차검증을 사용하였고, 통계적 유의성 기반 특징 선택을 적용하였다.
• 최종 모델 훈련 이전에 MMSE 이상치를 제거하여 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 자발적 발화에서 유도된 억양 및 음질 특징이 알츠하이머병 환자와 건강한 대조군을 효과적으로 구분할 수 있는가?
• RQ2 어휘 및 대화 주기 특징은 AD 분류 및 MMSE 회귀 정확도 향상에 어느 정도 기여하는가?
• RQ3 음성 및 언어적 특징을 조합하는 것이 각각의 모odalities를 별도로 사용할 경우보다 AD 진단에서 어떻게 더 우수한가?
• RQ4 이상치 제거와 같은 데이터 전처리가 AD 진단 작업의 모델 성능에 어떤 영향을 미치는가?
• RQ5 ASR나 수동 텍스트화에 의존하지 않고도 언어에 독립적인 음성 특징이 강건한 성능을 제공할 수 있는가?

주요 결과

• 모든 억양, 음질 및 어휘 특징을 조합한 Random Forest 분류기는 87.5%의 최고 분류 정확도를 기록하였다.
• 확률적 경사 하강법을 사용한 선형 회귀 모델은 MMSE 점수 예측에서 테스트 세트에서 4.54의 RMSE를 기록하였다.
• 어휘 및 대화 주기 특징은 음성 중심 특징보다 뚜렷이 뛰어나며, 특히 거짓 음성(거짓 음성) 수를 줄이는 데 기여하였다.
• 모든 특징 유형의 조합이 분류 및 회귀 작업 전반에서 최고의 성능을 보였다.
• MMSE 이상치를 제거함으로써 최고 성능을 보인 시스템의 성능이 향상되어 데이터 품질이 결과에 영향을 미친다는 점을 입증하였다.
• 음성 중심 시스템은 최대 72.2%의 정확도를 기록하여, ASR나 텍스트화에 의존하지 않고도 언어에 독립적인 AD 진단에 있어 희망적인 성능을 보임을 보여주었다.