[논문 리뷰] Multimodal Deep Learning for Mental Disorders Prediction from Audio Speech Samples

Habibeh Naderi, Behrouz Haji Soleimani외 1명|arXiv (Cornell University)|2019. 09. 03.

Mental Health via Writing인용 수 9

한 줄 요약

이 논문은 임상적 대화 인터뷰에서 음성 및 텍스트 임베딩을 융합하는 다중모달 딥러닝 프레임워크를 제안하여 우울증, 양극성 장애, 정신분열병과 같은 정신질환을 예측한다. BERT, XLNet, WaveNet, VGG-유사 네트워크와 같은 사전 훈련된 모델을 활용하고 보조 감정 레이블이 부여된 데이터를 통한 전이학습을 적용함으로써, 정신질환에 대해 평균 정확도 74.35%와 AUC 0.751을 달성하여 불균형 데이터에서 뛰어난 성능을 보였다.

ABSTRACT

Key features of mental illnesses are reflected in speech. Our research focuses on designing a multimodal deep learning structure that automatically extracts salient features from recorded speech samples for predicting various mental disorders including depression, bipolar, and schizophrenia. We adopt a variety of pre-trained models to extract embeddings from both audio and text segments. We use several state-of-the-art embedding techniques including BERT, FastText, and Doc2VecC for the text representation learning and WaveNet and VGG-ish models for audio encoding. We also leverage huge auxiliary emotion-labeled text and audio corpora to train emotion-specific embeddings and use transfer learning in order to address the problem of insufficient annotated multimodal data available. All these embeddings are then combined into a joint representation in a multimodal fusion layer and finally a recurrent neural network is used to predict the mental disorder. Our results show that mental disorders can be predicted with acceptable accuracy through multimodal analysis of clinical interviews.

연구 동기 및 목표

• 임상적 대화 인터뷰의 다중모달 분석을 통해 정신질환을 자동으로 예측하는 시스템을 개발하기 위해.
• 다중모달 데이터의 레이블이 부족한 문제를 해결하기 위해 전이학습과 대규모 보조 감정 레이블이 부여된 코퍼스를 활용하기 위해.
• 학습 가능한 융합 메커니즘을 통해 이질적인 음성 및 텍스트 표현을 융합하여 진단 정확도를 향상시키기 위해.
• 랜덤 오버샘플링과 견고한 모델 훈련을 통해 정신건강 데이터셋의 클래스 불균형 문제를 다루기 위해.
• 최종 예측 레이어의 어텐션 메커니즘을 통해 주목할 만한 음성 세그먼트를 식별함으로써 해석 가능성 향상시키기 위해.

제안 방법

• 전이학습된 언어 모델(BERT, XLNet, FastText, Doc2VecC)을 사용하여 음성의 전사본에서 문맥 기반 텍스트 임베딩을 추출한다.
• 사전 훈련된 WaveNet 및 VGG-유사 모델을 활용하여 음성 특징을 추출함으로써 프로소디컬 및 스펙트럼 특성을 인코딩한다.
• 대규모 보조 텍스트 및 음성 코퍼스를 사용하여 전이학습을 통해 감정 특화 임베딩을 학습함으로써 표현 품질을 향상시킨다.
• 가중치가 부여된 특징 연결 융합 레이어가 음성 및 텍스트 임베딩을 결합하여 통합 다중모달 표현을 생성한다.
• 어텐션 메커니즘을 갖춘 LSTM이 융합된 표현을 처리하여 최종 정신질환 예측을 생성한다.
• 가족 식별자 기반 데이터 분할을 고려한 5겹 교차검증과 랜덤 오버샘플링을 통해 테스트-트레이닝 독립성과 클래스 불균형 완화를 확보한다.

실험 결과

연구 질문

• RQ1 임상 인터뷰에서의 음성 및 텍스트 특징의 다중모달 융합이 단모달 접근 방식에 비해 정신질환 예측 정확도를 향상시키는가?
• RQ2 보조 감정 레이블이 부여된 데이터를 활용한 전이학습이 자원이 제한된 정신건강 응용 분야에서 표현 학습을 얼마나 효과적으로 향상시키는가?
• RQ3 RNN 내 어텐션 메커니즘이 예측 과정에서 임상적으로 관련성이 있는 음성 세그먼트를 어느 정도 강조할 수 있는가?
• RQ4 제안된 모델이 정신분열병처럼 희귀한 정신질환에 대해 매우 불균형한 훈련 데이터에서 얼마나 잘 일반화되는가?
• RQ5 문맥 기반 임베딩(BERT, XLNet 등)의 통합이 전통적 방법(Bag-of-Words, tf-idf)에 비해 정신질환 분류에서 우월한가?

주요 결과

• 제안된 다중모달 프레임워크는 우울증, 양극성 장애, 정신분열병에 대해 평균 분류 정확도 74.35%를 달성하였다.
• 정신분열병에 대해 AUC가 0.751을 기록하여, 단지 13개의 양성 샘플만 존재하는 매우 불균형한 클래스임에도 불구하고 데이터 불균형에 대한 강력한 내성성을 보였다.
• 문맥 기반 임베딩(BERT, XLNet 등)의 사용은 기존 방법(Bag-of-Words, tf-idf)에 비해 유의미하게 높은 성능을 보였으며, 정확도 향상 폭이 최대 15%p에 이르렀다.
• LSTM 레이어의 어텐션 메커니즘은 불안 및 의사소통 문제와 관련된 음성 세그먼트를 식별하고 우선순위를 부여함으로써 모델의 해석 가능성 향상을 도모하였다.
• 모든 정신질환 유형에서 다중모달 시스템이 단모달 기반 모델(음성 전용 또는 텍스트 전용)을 일관되게 능가하였다.
• ROC 곡선 분석을 통해 다중모달 모델이 특히 우울증과 양극성 장애에서 뛰어난 분류 성능을 보임을 확인하였다.