[논문 리뷰] Pathological speech detection using x-vector embeddings

Catarina Botelho, Francisco Teixeira외 3명|arXiv (Cornell University)|2020. 03. 02.

Voice and Speech Disorders인용 수 8

한 줄 요약

이 연구는 파킨슨병 및 폐쇄성 수면 무호흡증 검출을 위한 일반 목적의 특징 추출 방법으로 x-vector 임베딩의 성능을 평가하며, 지식 기반 특징과 i-vector보다 뛰어난 성능을 보이며, 특히 도메인 불일치 상황에서 뛰어난 성능을 보인다. 유럽 포르투갈어 및 스페인어 포르투갈어 음성 코퍼스를 사용하여 평가하였다.

ABSTRACT

The potential of speech as a non-invasive biomarker to assess a speaker's health has been repeatedly supported by the results of multiple works, for both physical and psychological conditions. Traditional systems for speech-based disease classification have focused on carefully designed knowledge-based features. However, these features may not represent the disease's full symptomatology, and may even overlook its more subtle manifestations. This has prompted researchers to move in the direction of general speaker representations that inherently model symptoms, such as Gaussian Supervectors, i-vectors and, x-vectors. In this work, we focus on the latter, to assess their applicability as a general feature extraction method to the detection of Parkinson's disease (PD) and obstructive sleep apnea (OSA). We test our approach against knowledge-based features and i-vectors, and report results for two European Portuguese corpora, for OSA and PD, as well as for an additional Spanish corpus for PD. Both x-vector and i-vector models were trained with an out-of-domain European Portuguese corpus. Our results show that x-vectors are able to perform better than knowledge-based features in same-language corpora. Moreover, while x-vectors performed similarly to i-vectors in matched conditions, they significantly outperform them when domain-mismatch occurs.

연구 동기 및 목표

• x-vector 임베딩이 병적 음성 검출을 위한 일반적 특징 추출 방법으로 적용 가능한지 평가하는 것.
• 파킨슨병(PD)과 폐쇄성 수면 무호흡증(OSA) 검출에서 x-vector를 지식 기반 특징과 i-vector와 비교하는 것.
• 외부 도메인 학습 데이터를 사용할 때의 모델의 강건성(내성)을 평가하는 것.
• 다양한 다국어 음성 코퍼스, 특히 유럽 포르투갈어 및 스페인어 포르투갈어 데이터셋을 포함한 성능 검증

제안 방법

• 일반화된 발화자 표현을 학습하기 위해, 외부 도메인인 유럽 포르투갈어 음성 코퍼스를 기반으로 x-vector 모델을 학습하였다.
• 딥 네ural 네트워크를 활용하여 원시 음성에서 고정된 차원의 임베딩을 추출함으로써, 발화자 및 질병 관련 특징을 포괄한다.
• 비교 기준으로 지식 기반 특징(예: 프로소딕 및 스펙트럼 특징)과 i-vector를 사용하였다.
• 파킨슨병과 폐쇄성 수면 무호흡증 검출을 위해 두 개의 유럽 포르투갈어 코퍼스와 한 개의 스페인어 코퍼스를 사용하여 평가하였다.
• 동일 언어 조건(일치)과 이질 도메인 조건(비일치)에서 성능을 측정하였다.
• 추출된 임베딩을 기반으로 표준 기계 학습 모델을 사용하여 분류를 수행하였다.

실험 결과

연구 질문

• RQ1 x-vector 임베딩은 파킨슨병과 폐쇄성 수면 무호흡증의 병적 음성 검출에 효과적으로 작용할 수 있는가?
• RQ2 동일 언어 검출 작업에서 x-vector는 지식 기반 특징보다 어떻게 비교되는가?
• RQ3 도메인 불일치 조건에서 x-vector는 i-vector보다 어떻게 성능을 내는가?
• RQ4 외부 도메인 학습 데이터 사용이 병적 음성 검출에서 x-vector의 일반화 능력에 영향을 미치는가?

주요 결과

• x-vector는 파킨슨병과 폐쇄성 수면 무호흡증 모두에 대해 동일 언어 검출 작업에서 지식 기반 특징보다 뛰어난 성능을 보였다.
• x-vector는 일치 언어 조건에서 i-vector와 비교해 유사한 성능을 달성하였다.
• 학습 및 테스트 세트 간 도메인 불일치가 발생했을 경우, x-vector는 i-vector보다 뚜렷이 뛰어난 성능을 보였다.
• x-vector가 학습한 일반화된 발화자 표현은 관련이 없는 음성 도메인에서 학습된 후에도 질병 관련 음성 패턴을 효과적으로 포착하였다.
• 결과적으로 x-vector는 i-vector보다 병적 음성 검출에서 도메인 이동에 더 강건함을 시사한다.
• 이 방법은 언어 간 전이 능력이 뛰어나며, 포르투갈어 사전 학습 모델을 사용해 스페인어 파킨슨병 코퍼스에 성공적으로 적용되었다.