[논문 리뷰] Deep Learning for Depression Recognition with Audiovisual Cues: A Review

Lang He, Mingyue Niu외 10명|arXiv (Cornell University)|2021. 05. 27.

Emotion and Mood Recognition참고 문헌 169인용 수 15

한 줄 요약

이 리뷰는 청각시각 자극을 이용한 자동 우울증 평가(ADE)를 위한 딥러닝 접근법을 종합적으로 분석하며, 데이터베이스, 특징 추출 방법, 다중모달 융합 기법을 다룹니다. 딥러닝이 수작업으로 만든 특징보다 우수한 성능을 보임을 강조하고, 데이터 불균형, 소수의 학습 샘플, 임상 적용을 위한 청각 및 시각 모달리티의 효과적 융합과 같은 주요 과제를 밝혀냅니다.

ABSTRACT

With the acceleration of the pace of work and life, people have to face more and more pressure, which increases the possibility of suffering from depression. However, many patients may fail to get a timely diagnosis due to the serious imbalance in the doctor-patient ratio in the world. Promisingly, physiological and psychological studies have indicated some differences in speech and facial expression between patients with depression and healthy individuals. Consequently, to improve current medical care, many scholars have used deep learning to extract a representation of depression cues in audio and video for automatic depression detection. To sort out and summarize these works, this review introduces the databases and describes objective markers for automatic depression estimation (ADE). Furthermore, we review the deep learning methods for automatic depression detection to extract the representation of depression from audio and video. Finally, this paper discusses challenges and promising directions related to automatic diagnosing of depression using deep learning technologies.

연구 동기 및 목표

• 청각시각 자극을 이용한 자동 우울증 평가(ADE)를 위한 딥러닝 방법에 대한 종합적인 리뷰를 제공하는 것.
• 기존 데이터베이스와 ADE 연구에서 사용된 객관적 지표를 분석하며, 다중모달 데이터 통합을 강조하는 것.
• 데이터 불균형, 제한된 학습 샘플, 청각 및 시각 특징의 효과적 융합과 같은 ADE의 주요 과제를 규명하는 것.
• 기존 리뷰에서 다루지 않은 바가 많았던 딥러닝 기반의 다중모달 접근법에 초점을 맞춰 문헌 간 격차를 메우는 것.
• 향후 연구를 이끄는 데 도움이 되도록, 임상 적용을 위한 ADE 시스템의 유망한 방향을 제시하는 것.

제안 방법

• 2013년부터 2021년까지 청각, 영상, 다중모달 데이터를 이용한 ADE에 관한 123篇의 논문을 체계적으로 검토하는 것.
• 특징 추출을 위한 딥러닝 아키텍처, 특히 딥 컨volution 네트워크(DCNNs)의 분류 및 평가.
• 수작업 특징(LBP, LPQ-TOP, FAUs 등)에서 딥러닝 기반 표현으로의 ADE의 발전을 분석하는 것.
• 청각 및 시각 자극을 융합하여 우울증 심각도 평가 성능을 향상시키는 다중모달 융합 전략을 평가하는 것.
• 특히 데이터 불균형이 있는 경우에 표준 평가 지표인 정확도, F1-스코어, ROC 곡선 아래 면적(AUC)을 사용하여 성능을 평가하는 것.
• 수작업 특징과 딥러닝 특징을 융합하는 하이브리드 모델 및 다중모달 데이터 수집(청각, 영상, 텍스트, 생리적 신호)을 포함한 향후 방법론적 방향을 제안하는 것.

실험 결과

연구 질문

• RQ1 청각시각 자극을 이용한 자동 우울증 평가에서 딥러닝 모델의 성능과 아키텍처는 어떻게 발전해왔는가?
• RQ2 청각 및 영상에서 우울증을 모델링하기 위해 가장 효과적인 딥러닝 아키텍처와 특징 추출 기법은 무엇인가?
• RQ3 다중모달 융합 전략은 단일모달 접근법에 비해 우울증 심각도 평가의 정확도와 견고성에 어떻게 기여하는가?
• RQ4 특히 데이터 불균형, 제한된 학습 샘플, 모델 일반화 능력 측면에서 ADE의 주요 과제는 무엇인가?
• RQ5 수작업 특징과 딥러닝 특징를 어떻게 효과적으로 융합하여 ADE 성능을 향상시킬 수 있는가?

주요 결과

• 딥러닝 모델, 특히 DCNNs는 LBP 및 LPQ-TOP와 같은 전통적인 수작업 특징보다 자동 우울증 평가에서 뛰어난 성능을 보인다.
• 청각 및 영상 데이터를 융합하는 다중모달 ADE 시스템은 단일모달 접근법보다 높은 성능을 달성하며, 상호보완적인 자극을 활용한다.
• 데이터 불균형은 여전히 핵심 과제이다. 예를 들어, AVEC2014에서 경증 우울증(0–9 BDI-II) 클래스의 샘플 수가 중증(30–44) 클래스보다 현저히 많아 모델 편향에 영향을 준다.
• 강력한 성능를 보이지만, 딥러닝 모델은 여전히 소수의 학습 샘플 문제와 다양한 인구 및 임상 환경에서의 일반화 능력에 어려움을 겪는다.
• 수작업 특징과 딥러닝 특징를 융합한 하이브리드 아키텍처는 분류 능력 향상과 모델 견고성 향상에 유망한 전망을 보인다.
• 향후 ADE 시스템은 청각, 영상, 텍스트, 생리적 신호 등 다양한 모달리티 데이터를 통합하고, 오픈 데이터 및 코드 공유를 촉진하여 임상 적용을 가속화해야 한다.