[논문 리뷰] Depression Status Estimation by Deep Learning based Hybrid Multi-Modal Fusion Model

Hrithwik Shalu, Pandurangan Harikrishnan외 7명|arXiv (Cornell University)|2020. 11. 30.

Mental Health via Writing참고 문헌 5인용 수 4

한 줄 요약

이 논문은 한 번의 학습(one-shot learning)과 감독적 미세조정을 사용하여 청각, 시각, 텍스트 모odalities를 융합하는 하이브리드 딥러닝 모델을 제안한다. 이는 우울증 상태 평가를 향상시키기 위한 것이다. 모델은 실제 세계 데이터셋에서 96.3%의 정확도와 0.9682의 AUC를 달성하여 사용자 적응형으로 클라우드에 배포된 스마트폰 애플리케이션 통합을 통해 경증 우울증을 탐지하는 데 있어 강력한 성능을 보였다.

ABSTRACT

Preliminary detection of mild depression could immensely help in effective treatment of the common mental health disorder. Due to the lack of proper awareness and the ample mix of stigmas and misconceptions present within the society, mental health status estimation has become a truly difficult task. Due to the immense variations in character level traits from person to person, traditional deep learning methods fail to generalize in a real world setting. In our study we aim to create a human allied AI workflow which could efficiently adapt to specific users and effectively perform in real world scenarios. We propose a Hybrid deep learning approach that combines the essence of one shot learning, classical supervised deep learning methods and human allied interactions for adaptation. In order to capture maximum information and make efficient diagnosis video, audio, and text modalities are utilized. Our Hybrid Fusion model achieved a high accuracy of 96.3% on the Dataset; and attained an AUC of 0.9682 which proves its robustness in discriminating classes in complex real-world scenarios making sure that no cases of mild depression are missed during diagnosis. The proposed method is deployed in a cloud-based smartphone application for robust testing. With user-specific adaptations and state of the art methodologies, we present a state-of-the-art model with user friendly experience.

연구 동기 및 목표

• 스스로의 우울증이 의심될 때도 기피감, 낮은 인지도, 증상의 개인적 다양성으로 인해 경증 우울증이 발견되지 않는 문제를 해결하기 위해.
• 실제 환경에서 다양한 개인에게 잘 일반화되는 사용자 적응형 AI 시스템을 개발하기 위해.
• 다중모달 데이터(청각, 시각, 텍스트)를 하이브리드 학습 전략과 함께 활용하여 우울증의 조기 탐지 수준을 향상시키기 위해.
• 스마트폰을 통해 접근 가능한 임상적으로 유용하고 구현 가능한 도구를 만들기 위해.

제안 방법

• 모델는 사용자별 적응을 위한 한 번의 학습(one-shot learning)과 다중모달 입력에 대한 감독적 딥러닝을 융합하는 하이브리드 융합 프레임워크를 사용한다.
• 청각 특징은 말의 속도, 정지, 음성 품질을 캡처하기 위해 프로소딕 및 스펙트럼 분석을 통해 추출된다.
• 영상 특징은 3D CNN을 사용하여 얼굴 표정과 미세표정에서 유도되며, 정서적 신호를 탐지한다.
• 텍스트 전사본은 NLP 기법을 사용하여 1인칭 대명사 및 문법적 단순성과 같은 언어적 지표를 식별한다.
• 우울증 심각도를 결정하기 위해 쿼리 응답을 전문가가 레이블링한 표준 답변과 코사인 유사도로 비교한다.
• 실시간, 확장 가능하고 사용자 적응형 선별을 가능하게 하기 위해 클라우드 기반 스마트폰 애플리케이션에 시스템을 배포한다.

실험 결과

연구 질문

• RQ1 하이브리드 딥러닝 모델이 실제 환경에서 높은 정확도로 경증 우울증을 탐지하기 위해 청각, 시각, 텍스트 모달리티를 효과적으로 융합할 수 있는가?
• RQ2 한 번의 학습 기법이 개인별로 큰 레이블이 부여된 데이터셋이 없이도 우울증 탐지에서 사용자별 적응을 가능하게 할 수 있는가?
• RQ3 단일 모달리티 접근 방식에 비해 다중모달 융합이 우울증 심각도 수준 간의 구분 능력을 얼마나 향상시키는가?
• RQ4 다양한 성격 및 행동 특성을 지닌 개인들 사이에서 실제 임상 상황에서 모델이 잘 일반화되는가?
• RQ5 伝통적인 임상 방법으로 자주 간과되는 경미한 또는 조기 우울증 징후를 시스템이 얼마나 효과적으로 식별할 수 있는가?

주요 결과

• 제안된 하이브리드 융합 모델은 96.3%의 테스트 정확도를 달성하였으며, 95% 신뢰구간은 ±1.478였다.
• 모델는 복잡한 실제 세계 데이터에서 우울증 유형 간 강력한 분류 능력을 보여주는 AUC 0.9682를 기록하였다.
• 코사인 유사도 지수는 0.128에서 0.883 사이로 변동하여, 모델이 경증, 중증, 심각한 우울증 수준을 구분할 수 있음을 확인하였다.
• 시스템은 다양한 개인들 사이에서 경미한 언어적, 프로소딕, 얼굴 표정 지표를 효과적으로 탐지하였다.
• 클라우드 기반 스마트폰 배포를 통해 확장 가능하고 실시간이며 사용자 적응형 선별이 가능해져 접근성과 임상적 유용성이 향상되었다.
• 전문가 검증 결과, AI 보조 시스템이 임상의가 사례를 우선순위 정렬하고 트리iage 효율을 향상시키는 데 도움이 될 수 있음을 확인하였다.