[논문 리뷰] Supervised Speech Representation Learning for Parkinson's Disease Classification

Parvaneh Janbakhshi, Ina Kodrasi|arXiv (Cornell University)|2021. 06. 01.

Voice and Speech Disorders참고 문헌 26인용 수 6

한 줄 요약

이 논문은 악성 학습을 통해 환자의 말소리 특징을 학습하고, 말소리 특징에서 환자 개인의 신원 정보를 억제하고 파킨슨병(PD) 진단에 유용한 특징을 강화하기 위해 적대적 훈련과 함께 병렬 훈련을 사용하여 파킨슨병(PD) 분류를 위한 감독형 말소리 표현 학습을 제안한다. 스페인어 말소리 데이터베이스에서의 실험 결과, 환자 개인의 신원에 영향을 받지 않는 특징과 PD에 특화된 특징을 학습한 모델이 비감독 기반의 기준 모델보다 더 높은 정확도와 AUC 성능을 보였으며, 환자 개인의 신원 식별 성능이 크게 떨어져 학습된 특징에서 환자 개인의 편향이 감소했음을 확인했다.

ABSTRACT

Recently proposed automatic pathological speech classification techniques use unsupervised auto-encoders to obtain a high-level abstract representation of speech. Since these representations are learned based on reconstructing the input, there is no guarantee that they are robust to pathology-unrelated cues such as speaker identity information. Further, these representations are not necessarily discriminative for pathology detection. In this paper, we exploit supervised auto-encoders to extract robust and discriminative speech representations for Parkinson's disease classification. To reduce the influence of speaker variabilities unrelated to pathology, we propose to obtain speaker identity-invariant representations by adversarial training of an auto-encoder and a speaker identification task. To obtain a discriminative representation, we propose to jointly train an auto-encoder and a pathological speech classifier. Experimental results on a Spanish database show that the proposed supervised representation learning methods yield more robust and discriminative representations for automatically classifying Parkinson's disease speech, outperforming the baseline unsupervised representation learning system.

연구 동기 및 목표

• 비감독형 오토인코더 표현 학습의 한계를 해결하기 위해, 환자 개인의 신원 정보를 유지하거나 병리학적 특징을 구분하지 못하는 문제를 해결하고자 한다.
• 신경형태학적 환자만을 사용하여 환자 개인의 신원 식별 작업을 함께 훈련함으로써 오토인코더를 적대적으로 훈련시켜, 환자 개인의 신원에 영향을 받지 않는 강건한 특징을 학습하는 표현 학습 프레임워크를 개발하고자 한다.
• 오토인코더를 병리학적 말소리 분류기와 함께 훈련시켜, 파킨슨병(PD)과 신경형태학적 말소리 간의 특징을 더 잘 분류할 수 있도록 학습된 표현의 분류 능력을 향상시키고자 한다.
• 실제 스페인어 PD 말소리 데이터베이스를 대상으로 제안된 감독형 방법의 효과를 평가하고, 비감독 기반 기준 모델과 비교하고자 한다.
• 환자 병리학과 무관한 신호(예: 환자 개인의 신원 정보)를 억제함으로써 일반화 능력과 PD 분류 성능이 향상되는지 탐구하고자 한다.

제안 방법

• 입력된 말소리 스펙트로그램을 유지하기 위해 재구성 손실을 최소화하는 오토인코더를 훈련시켜, 봉쇄된 표현( bottleneck representation)을 형성한다.
• 신경형태학적 환자들만을 사용하여 환자 개인의 신원 식별(identification, ID) 작업을 함께 훈련함으로써, 오토인코더의 재구성 손실과 ID 손실을 동시에 최소화하는 적대적 훈련 전략을 적용한다. 이는 병리학적 요인이 아닌 환자 개인의 말소리 변동성을 억제하기 위함이다.
• 봉쇄된 표현에서 파킨슨병(PD) 대비 신경형태학적 말소리 간의 차이를 잘 구분할 수 있도록, 이진 교차 엔트로피 손실을 사용하여 오토인코더와 병행하여 PD 분류기를 훈련시킨다.
• 두 가지 보조 목표인 환자 개인의 신원에 영향을 받지 않는 특징과 PD에 특화된 특징을 결합함으로써 표현의 품질을 향상시킨다.
• 모든 모델은 표준 최적화 설정을 사용한 확률적 경사 하강법(SGD)을 사용하여 훈련된다.
• 학습된 표현의 성능은 PD 분류 정확도와 AUC로 평가되며, 환자 개인의 신원 식별 성능은 환자 개인의 신원 정보 억제 정도를 측정하는 지표로 사용된다.

실험 결과

연구 질문

• RQ1 환자 개인의 신원 식별 작업을 함께 훈련하는 오토인코더의 적대적 훈련이, 파킨슨병(PD) 분류를 위한 말소리 표현에서 환자 개인의 신원 정보를 효과적으로 억제할 수 있는가?
• RQ2 오토인코더를 병리학적 말소리 분류기와 함께 훈련함으로써, 병리학적 말소리 탐지에 유용한 표현의 분류 능력이 향상되는가?
• RQ3 제안된 감독형 표현 학습 방법이 비감독 오토인코더 기반 기준 모델 대비 파킨슨병(PD) 분류 성능에서 어떻게 비교되는가?
• RQ4 제안된 방법이 학습된 표현에서 병리학과 무관한 신호(예: 환자 개인의 신원 정보)를 어느 정도 감소시키는가?
• RQ5 환자 개인의 신원에 영향을 받지 않는 특징과 PD에 특화된 특징을 동시에 학습하는 병합 목표가 개별 방법보다 더 우수한 표현을 만들어내는가?

주요 결과

• 제안된 적대적 환자 개인의 신원에 영향을 받지 않는 훈련은 환자 개인의 신원 식별 정확도를 2.31±0.27%로 낮추고 AUC를 0.54±0.01로 낮춰, 환자 개인의 신원 정보가 효과적으로 억제되었음을 확인했다.
• PD에 특화된 훈련은 환자 개인의 신원 식별 정확도를 18.15±14.27%로 낮추고 AUC를 0.76±0.08로 낮춰, 병리학적 특징이 내재적으로 환자 개인의 신원 정보를 억제함을 보여주었다.
• 두 보조 작업을 융합한 결과, 가장 높은 PD 분류 정확도를 기록했으며, 개별 방법과 비감독 기준 모델을 모두 초월했다.
• 비감독 기준 모델은 환자 개인의 신원 식별 정확도가 34.71±11.94%이고 AUC가 0.90±0.06였으며, 이는 강력한 환자 개인의 신원 정보를 내포하고 있음을 의미한다. 이는 PD 분류에서 일반화 능력을 저해한다.
• 적대적 환자 개인의 신원에 영향을 받지 않는 표현은 가장 높은 PD 분류 성능을 기록했으며, 융합된 표현보다 더 높은 정확도와 AUC를 확보했다. 이는 해당 방법에 최적의 하이퍼파라미터 설정이 이루어졌음을 시사한다.
• 종합적으로 볼 때, 제안된 감독형 표현 학습 방법은 비감독 기준 모델보다 파킨슨병(PD) 분류 성능에서 유의미하게 뛰어나며, 병리학 전용 및 강건성 향상을 목표로 한 보조 작업을 통해 표현 학습을 이끄는 것이 가치가 있음을 입증했다.