[논문 리뷰] Multi-modal deep learning system for depression and anxiety detection

Brian Diep, Marija Stanojević외 1명|arXiv (Cornell University)|2022. 12. 30.

Mental Health via Writing인용 수 5

한 줄 요약

이 논문은 자가 시행된 언어 작업에서 수동으로 설계된 임상 특징과 자기학습된 음성 및 텍스트 표현을 통합하는 다중모달 딥러닝 시스템을 제안한다. 이는 우울증과 불안을 탐지하기 위한 것이다. Wav2Vec 2.0를 음성에, RoBERTa를 전사본에 적용하고 전문가가 설계한 특징을 추가함으로써, 모델은 우울증의 F1 스코어를 0.58에서 0.63으로, 불안의 F1 스코어를 0.54에서 0.57로 향상시켰다.

ABSTRACT

Traditional screening practices for anxiety and depression pose an impediment to monitoring and treating these conditions effectively. However, recent advances in NLP and speech modelling allow textual, acoustic, and hand-crafted language-based features to jointly form the basis of future mental health screening and condition detection. Speech is a rich and readily available source of insight into an individual's cognitive state and by leveraging different aspects of speech, we can develop new digital biomarkers for depression and anxiety. To this end, we propose a multi-modal system for the screening of depression and anxiety from self-administered speech tasks. The proposed model integrates deep-learned features from audio and text, as well as hand-crafted features that are informed by clinically-validated domain knowledge. We find that augmenting hand-crafted features with deep-learned features improves our overall classification F1 score comparing to a baseline of hand-crafted features alone from 0.58 to 0.63 for depression and from 0.54 to 0.57 for anxiety. The findings of our work suggest that speech-based biomarkers for depression and anxiety hold significant promise in the future of digital health.

연구 동기 및 목표

• 자기 시행된 말하기 작업을 활용한 우울증과 불안에 대한 확장 가능하고 객관적인 디지털 선별 도구를 개발한다.
• 기존의 선별 방법의 한계, 즉 낮은 환자 참여도, 임상의의 부담 증가, 표준화 부족 문제를 해결한다.
• 말하기 및 텍스트에서 최신의 딥러닝 표현과 도메인에 기반한 수동으로 설계된 특징을 통합함으로써 분류 성능을 향상시킨다.
• 다양한 모odal(음성적, 언어적, 임상적) 특징을 조합할 경우, 개별 특징 집합을 넘어서서 우울증과 불안을 탐지하는 데 효과가 있는지 조사한다.

제안 방법

• 모델은 원시 음성에서 깊이 있는 표현을 추출하기 위해 Wav2Vec 2.0를 사용하고, 이어 두 층의 양방향 LSTM과 두 헤드 다중헤드 어텐션 메커니즘을 거쳐 음성 임베딩(R1)을 생성한다.
• 텍스트적 내용에 대해서는 RoBERTa를 전사된 말에 적용하고, 출력을 두 층의 양방향 LSTM과 두 헤드 다중헤드 어텐션 레이어를 거쳐 언어 임베딩(R2)로 처리한다.
• 수동으로 설계된 특징(R3)은 임상적으로 검증된 마커, 예를 들어 말하기 속도, 대명사 사용, 프로소직 패턴 등을 도메인 전문 지식을 활용해 추출하여 세 번째 모달리티로 추가한다.
• 세 가지 표현(R1, R2, R3)은 통합 임베딩으로 결합되고, ReLU 활성화 함수를 사용하는 두 개의 피드포워드 레이어를 통과한 후 이진 교차 엔트로피 손실을 통해 최적화된다.
• 시스템은 자기 시행된 말하기 작업 데이터셋을 5겹 교차검증으로 훈련 및 평가한다. 이 데이터셋에는 유도된 내레이션과 의미 유연성 작업이 포함되어 있다.
• 이진 분류는 PHQ-8(우울증)의 점수 기준 10점 이상, GAD-7(불안)의 점수 기준 10점 이상로 설정하며, 25.3%의 참가자가 우울증으로, 12.8%가 불안으로 분류되었다.

실험 결과

연구 질문

• RQ1 수동으로 설계된 특징과 자기학습된 음성 및 텍스트 표현을 조합할 경우, 수동으로 설계된 특징만을 사용할 때보다 우울증과 불안 탐지 성능이 향상되는가?
• RQ2 딥러닝된 특징의 포함 여부가 자기 시행된 말하기에서 우울증과 불안 탐지에 대한 F1 스코어에 어떤 영향을 미치는가?
• RQ3 특히 불안 사례에서의 데이터 불균형이 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 모델은 우울증 탐지에서 더 나은 성능을 보이는가, 아니면 불안 탐지에서 더 나은 성능을 보이는가? 성능 격차의 원인은 무엇인가?

주요 결과

• 딥러닝된 특징과 수동으로 설계된 특징을 통합함으로써, 우울증 탐지의 F1 스코어는 수동 특징만 사용했을 때 0.58에서 0.63으로 향상되었다.
• 불안 탐지의 경우, 수동 특징만 사용했을 때 F1 스코어가 0.54였지만, 딥러닝된 특징을 추가함으로써 0.57로 상승했다.
• 전반적인 F1 스코어에서 우울증(0.63)은 불안(0.57)보다 높았으며, 이는 불안 사례에서 더 큰 데이터 불균형(양성 비율 12.8% 대 우울증 25.3%) 때문일 수 있다.
• 모델은 '진단' 클래스를 예측하는 데 더 어려움을 겪었고, '진단 없음' 클래스보다 어려움을 느꼈다. 이는 클래스 불균형과 긴 尾 distribution(긴 尾 분포)로 인한 도전 과제를 시사한다.
• 불안의 경우, 심각도에 따라 음성적 특징의 변동성이 우울증에 비해 더 적었다. 이는 불안이 말 기반 탐지에 더 어려운 대상일 수 있음을 시사한다.
• 수동으로 설계된 특징과 딥러닝된 특징을 병행 사용함으로써 말에서의 신호 추출을 최대화했으며, 현대적 표현 학습과 임상 지식을 통합하는 가치를 입증했다.