[논문 리뷰] Integration of Text and Graph-based Features for Detecting Mental Health Disorders from Voice

Nasser Ghadiri, Rasoul Samani외 1명|arXiv (Cornell University)|2022. 05. 14.

Emotion and Mood Recognition인용 수 4

한 줄 요약

이 논문은 말의 정서 장애 탐지 성능을 햖थन하기 위해 텍스트 기반 자연어 처리와 음성 신호의 그래프 기반 표현을 융합하는 하이브리드 접근법을 제안한다. 전사 텍스트 임베딩과 그래프 구조화된 음성 특징을 융합함으로써, 이 방법은 DAIC-WOZ 데이터셋에서 뛰어난 성능을 달성하여, 다중모odal 특징 융합이 전통적인 오디오 전용 방법을 초월해 정서 장애 탐지에 기여함을 입증한다.

ABSTRACT

With the availability of voice-enabled devices such as smart phones, mental health disorders could be detected and treated earlier, particularly post-pandemic. The current methods involve extracting features directly from audio signals. In this paper, two methods are used to enrich voice analysis for depression detection: graph transformation of voice signals, and natural language processing of the transcript based on representational learning, fused together to produce final class labels. The results of experiments with the DAIC-WOZ dataset suggest that integration of text-based voice classification and learning from low level and graph-based voice signal features can improve the detection of mental disorders like depression.

연구 동기 및 목표

• 정서 장애와 같은 정신 건강 장애 탐지에서 오디오 전용 특징의 한계를 해결하기 위해.
• 텍스트 전사 분석과 음성 신호의 그래프 기반 변환을 융합할 잠재력을 탐색하기 위해.
• 저수준 음성 특징과 고수준 언어적 및 구조적 표현을 융합하여 분류 성능을 향상시키기 위해.
• 이 다중모달 접근법의 효과성을 실제 임상 데이터셋(DAIC-WOZ)에서 검증하기 위해.

제안 방법

• 음성 녹음에서 생성된 텍스트 전사문은 표현 학습 기법을 사용하여 맥락 임베딩을 추출한다.
• 음성 신호는 음성 프레임 간의 시간적 및 스펙트럼적 관계를 포착하기 위해 그래프 구조로 변환된다.
• 저수준 음성 특징(예: 프로소딕 및 스펙트럼 특징)이 추출되어 그래프 기반 표현과 결합된다.
• 그래프 기반 및 텍스트 기반 임베딩은 연결되어 분류기로 들어가 정서 장애 탐지를 수행한다.
• 언어적, 음성적, 구조적 특징을 융합하는 다중모달 융합 전략이 차별성 강화를 위해 사용된다.
• 모델은 정신 건강 탐지에 대한 벤치마크인 DAIC-WOZ 데이터셋에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 음성 신호의 그래프 기반 표현을 통합함으로써 기존 오디오 특징을 초월해 정서 장애 탐지 성능을 향상시킬 수 있는가?
• RQ2 텍스트 전사 임베딩과 구조적 음성 특징을 융합할 경우 분류 성능에 어떤 영향을 미치는가?
• RQ3 텍스트와 그래프 기반 특징의 다중모달 융합이 정신 건강 분류에서 단모달 접근법을 얼마나 뛰어넘는가?
• RQ4 제안된 방법은 실제 임상 음성 데이터에 잘 일반화되는가?

주요 결과

• 텍스트 기반 및 그래프 기반 특징의 융합은 오디오 전용 또는 텍스트 전용 모델을 사용할 경우보다 정서 장애 탐지 정확도를 크게 향상시킨다.
• 기본 모델이 저수준 음성 특징만 사용하는 것과 비교해 제안된 방법은 DAIC-WOZ 데이터셋에서 더 높은 F1 점수와 AUC 값을 기록한다.
• 그래프 기반 표현은 정신 건강 지표와 관련된 비선형 패턴을 효과적으로 포착한다.
• 전사문의 언어적 맥락과 구조적 음성 특징의 융합은 분류에 더 강력하고 구분력 있는 표현을 이끌어낸다.