[논문 리뷰] MFCC-based Recurrent Neural Network for Automatic Clinical Depression Recognition and Assessment from Speech

Emna Rejaibi, Ali Komaty외 3명|arXiv (Cornell University)|2019. 09. 16.

Emotion and Mood Recognition참고 문헌 38인용 수 246

한 줄 요약

MFCC 기반 LSTM 프레임워크가 음성에서 우울증을 감지하고 PHQ-8 심각도를 추정하며, 작은 데이터셋의 문제를 극복하기 위해 데이터 증강과 전이 학습을 사용하여 우울증 탐지의 검증 정확도 76.27%, 이진 작업에서 RMSE 0.405를 달성한다.

ABSTRACT

Clinical depression or Major Depressive Disorder (MDD) is a common and serious medical illness. In this paper, a deep recurrent neural network-based framework is presented to detect depression and to predict its severity level from speech. Low-level and high-level audio features are extracted from audio recordings to predict the 24 scores of the Patient Health Questionnaire and the binary class of depression diagnosis. To overcome the problem of the small size of Speech Depression Recognition (SDR) datasets, expanding training labels and transferred features are considered. The proposed approach outperforms the state-of-art approaches on the DAIC-WOZ database with an overall accuracy of 76.27% and a root mean square error of 0.4 in assessing depression, while a root mean square error of 0.168 is achieved in predicting the depression severity levels. The proposed framework has several advantages (fastness, non-invasiveness, and non-intrusion), which makes it convenient for real-time applications. The performances of the proposed approach are evaluated under a multi-modal and a multi-features experiments. MFCC based high-level features hold relevant information related to depression. Yet, adding visual action units and different other acoustic features further boosts the classification results by 20% and 10% to reach an accuracy of 95.6% and 86%, respectively. Considering visual-facial modality needs to be carefully studied as it sparks patient privacy concerns while adding more acoustic features increases the computation time.

연구 동기 및 목표

• MFCC 특징과 RNN을 사용하여 음성에서 우울증 탐지 및 심각도 평가를 목표로 한다.
• 관련 감정 작업으로부터의 데이터 증강과 전이 학습을 통해 작은 데이터셋 문제를 해결한다.
• DAIC-WOZ 코퍼스에서 성별, 잡음 강건성, 일반화 등을 분석하고 성능을 평가한다.

제안 방법

• 전처리된 음성 구간에서 일차 및 이차 도함수를 갖는 MFCC 특징(60 계수)을 추출한다.
• 3층 LSTM 네트워크를 사용하고 이어지는 두 개의 Dense 층으로 이진 우울증 분류(sigmoid)와 다중 클래스 PHQ-8 심각도 추정(softmax)을 수행한다.
• 계수 전체에 걸친 글로벌 z-score 정규화를 사용하여 MFCC 특징을 정규화한다.
• 데이터 다양성을 높이기 위해 데이터 증강(잡음, 피치, 시프트, 속도)을 적용한다.
• 감정 인식 작업(RAVDESS)으로 모델을 사전 학습하고 우울증으로 미세 조정한다(전이 학습).
• 기준선, 데이터 증강, 전이 학습 설정을 비교하고 이진 우울증과 24단계 심각도 예측을 모두 평가한다.

실험 결과

연구 질문

• RQ1 MFCC 기반 RNN이 음성만으로도 정확하게 우울증을 감지할 수 있는가?
• RQ2 모델이 음성으로 PHQ-8 심각도 레벨을 얼마나 잘 예측할 수 있는가(이진 대 다중 클래스)?
• RQ3 데이터 증강과 전이 학습이 DAIC-WOZ에서 우울증 탐지 및 심각도 추정 성능을 향상시키는가?
• RQ4 음성 기반 우울증 인식에서 성별이 모델 성능에 미치는 영향은 무엇인가?
• RQ5 제안된 시스템은 잡음에 얼마나 강건하며 데이터셋 간 일반화에 얼마나 잘 작동하는가?

주요 결과

• 기준선 MFCC 기반 RNN은 이진 우울증 분류에 대해 67.61%의 검증 정확도와 RMSE 0.5057를 달성한다.
• 심각도 예측(24 PHQ-8 클래스)은 RMSE 0.168를 나타내며 이진 작업보다 상당한 폭으로 우수하다.
• 데이터 증강은 검증 정확도를 74.0%로 높이고 이진 작업의 RMSE를 0.4206으로 감소시킨다.
• RAVDESS 감정으로 사전 학습하고 DAIC-WOZ에서 미세 조정한 전이 학습으로 이진 작업의 검증 정확도가 76.27% 및 RMSE 0.4055로 증가한다.
• 전이 학습으로 우울증의 F1 점수가 38%에서 46%로 향상된다; 성별 분석에서 여성은 85%, 남성은 83%로 더 높은 검증 정확도를 보인다.
• 모델은 10% 가우시안 노이즈에서 이진 정확도가 8.3% 하락하는 등 잡음에 대한 강건성을 보이며 20% 노이즈까지 안정적인 성능을 보인다.