[논문 리뷰] Comparison of user models based on GMM-UBM and i-vectors for speech, handwriting, and gait assessment of Parkinson's disease patients

Juan Camilo Vásquez-Correa, Tobias Bocklet외 2명|arXiv (Cornell University)|2020. 02. 13.

Voice and Speech Disorders참고 문헌 25인용 수 4

한 줄 요약

이 연구는 GMM-UBM 및 i-vector 사용자 모델을 사용하여 환자 고유의 특성과 건강한 대조군 기준을 기반으로 다중 모odal 신호—발성, 글쓰기, 보행—을 통해 파킨슨병(PD)의 중증도를 평가하는 것을 제안한다. GMM-UBM는 i-vector를 능가하여 조화 보행, 억양, 발음 특징을 융합했을 때 MDS-UPDRS-III 척도와 0.634의 슼머의 상관계수를 기록하였다.

ABSTRACT

Parkinson's disease is a neurodegenerative disorder characterized by the presence of different motor impairments. Information from speech, handwriting, and gait signals have been considered to evaluate the neurological state of the patients. On the other hand, user models based on Gaussian mixture models - universal background models (GMM-UBM) and i-vectors are considered the state-of-the-art in biometric applications like speaker verification because they are able to model specific speaker traits. This study introduces the use of GMM-UBM and i-vectors to evaluate the neurological state of Parkinson's patients using information from speech, handwriting, and gait. The results show the importance of different feature sets from each type of signal in the assessment of the neurological state of the patients.

연구 동기 및 목표

• 다양한 생체 신호—발성, 글쓰기, 보행—를 이용하여 파킨슨병(PD) 환자의 신경학적 상태를 평가하기 위해.
• GMM-UBM 및 i-vector 기반의 사용자 모델이 다양한 모달리티에서 PD 관련 운동 장애를 효과적으로 포착할 수 있는지 조사하기 위해.
• 각 모달리티에서의 다양한 특징 세트를 사용하여 MDS-UPDRS-III 점수를 예측하는 데 있어 GMM-UBM 및 i-vector 시스템의 성능을 비교하기 위해.
• 개별 특징 세트와 그 융합이 신경학적 상태 예측 정확도 향상에 기여하는 방식을 탐색하기 위해.
• 파킨슨병 중증도를 객관적이고 비침습적으로 평가하기 위해 가장 정보가 많은 특징을 특정 모달리티에서 식별하기 위해.

제안 방법

• 발성에서의 발음, 발음, 억양 특징; 글쓰기에서의 운동학적 특징; 보행에서의 조화 및 비선형 특징을 모달리티별로 추출하였다.
• 개별 PD 환자의 신호 데이터를 사용하여 유니버설 배경 모델(UBM)을 개별 환자에 맞게 적응시켜 GMM-UBM 시스템을 훈련시켰다.
• 연령과 성별이 일치하는 건강한 대조군에서 i-vector 모델을 구축하고, PD 환자와의 i-vector 거리를 계산하였다.
• 환자 모델(GMM 또는 i-vector)과 기준 모델(UBM 또는 대조군 i-vector) 간의 거리 지표를 신경학적 이탈의 대체 지표로 사용하였다.
• 이종 모달리티 거리를 연결하여 융합하고, 한 명의 환자를 제외한 교차 검증을 통해 선형 회귀를 적용하여 MDS-UPDRS-III 점수를 예측하였다.
• 피어슨 상관계수, 슼머 상관계수, 중앙값 절대 오차(MAE), p-값을 사용하여 성능을 평가하였다.

Fig. 1 : General methodology followed in this study.

실험 결과

연구 질문

• RQ1 GMM-UBM 및 i-vector 사용자 모델이 발성, 글쓰기, 보행 신호에서 파킨슨병 관련 운동 장애를 효과적으로 표현할 수 있는가?
• RQ2 발성, 글쓰기, 보행 중 어느 모달리티가 MDS-UPDRS-III 점수 예측에 가장 유용한 특징을 제공하는가?
• RQ3 다양한 모달리티 간의 특징 융합이 단일 모달리티 분석 대비 신경학적 상태 예측 성능을 얼마나 향상시키는가?
• RQ4 GMM-UBM이 i-vector 모델링을 능가하는가? 만약 그렇다면 어떤 조건에서 그러한 성능 향상이 발생하는가?
• RQ5 각 특징 세트(예: 조화 보행, 억양, 운동학적 글쓰기)가 최종 다중 모달리티 예측 모델에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• GMM-UBM 모델은 조화 보행, 억양, 발음 특징을 융합했을 때 MDS-UPDRS-III 척도와 0.634의 슼머 상관계수를 기록하여 개별 모달리티 및 i-vector 시스템을 능가하였다.
• 조화 보행 특징이 다중 모달리티 모델에서 가장 크게 기여하였고, 그 다음으로 억양 및 발음 특징이 기여하였으며, 이는 파킨슨병에서의 언어장애와의 강한 연관성을 시사한다.
• i-vector 시스템은 성능이 낮았으며, 비선형 보행 특징을 사용했을 때 최대 슼머 상관계수 0.381을 기록하여 현재 기준 데이터로는 PD 특유의 특성을 모델링하는 데 한계가 있음을 시사한다.
• 글쓰기 운동학적 특징은 예상보다 기여도가 낮았는데, 이는 표준 운동학적 특징과 파킨슨병 특유의 운동 장애 간의 불일치 때문일 가능성이 있다.
• 다중 모달리티 융합은 최고의 단일 모달리티 결과(조화 보행 특징) 대비 슼머 상관계수를 2.4%포인트 향상시켰다.
• 랜덤 포레스트 및 SVR 모델은 테스트 세트에 과적합되어 오직 평균 MDS-UPDRS-III 값을 예측하는 데 그쳤으며, 이는 이 작업에 대해 거리 특징을 사용한 선형 회귀가 더 강인하다는 것을 시사한다.

Fig. 2 : Prediction of the MDS-UPDRS-III score using multimodal user models based on GMM-UBM systems.