[논문 리뷰] The Verbal and Non Verbal Signals of Depression -- Combining Acoustics, Text and Visuals for Estimating Depression Level

Syed Arbaaz Qureshi, Mohammed Hasanuzzaman외 2명|arXiv (Cornell University)|2019. 04. 02.

Mental Health via Writing참고 문헌 27인용 수 16

한 줄 요약

이 논문은 PHQ-8 척도를 사용하여 우울증 정도를 추정하기 위해 청각, 문장, 시각적 모odal을 융합하는 주의 기반 딥 네트워크를 제안한다. 일곱 가지 모달 특징을 통합하고 주의 메커니즘을 활용함으로써, 기존 방법 대비 RMSE를 7.17% 감소시키고 MAE를 8.08% 감소시켜 DAIC-WOZ 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Depression is a serious medical condition that is suffered by a large number of people around the world. It significantly affects the way one feels, causing a persistent lowering of mood. In this paper, we propose a novel attention-based deep neural network which facilitates the fusion of various modalities. We use this network to regress the depression level. Acoustic, text and visual modalities have been used to train our proposed network. Various experiments have been carried out on the benchmark dataset, namely, Distress Analysis Interview Corpus - a Wizard of Oz (DAIC-WOZ). From the results, we empirically justify that the fusion of all three modalities helps in giving the most accurate estimation of depression level. Our proposed approach outperforms the state-of-the-art by 7.17% on root mean squared error (RMSE) and 8.08% on mean absolute error (MAE).

연구 동기 및 목표

• 다양한 행동 신호를 융합함으로써 우울 수준 추정의 정확도를 향상시키는 다모달 딥 러닝 프레임워크를 개발하는 것.
• 우울증 정도 예측에서 언어적(텍스트), 비언어적(청각), 비언어적(시각) 신호의 상대적 기여도를 조사하는 것.
• 다양한 모달을 융합할 때 동적으로 가중치를 조정하는 주의 메커니즘이 회귀 성능 향상에 기여하는지 검증하는 것.
• 기준 데이터셋인 DAIC-WOZ에서 기존 최신 기술 수준의 방법들을 능가하는 것.

제안 방법

• 모델는 일곱 가지 별도의 모달 스트림(두 개의 청각적(프로소디크 및 스펙트럼), 하나의 텍스트(전사 임베딩), 네 가지 시각적(머리 자세, 시선, 미소, 자기촉촉함))을 처리하는 다모달 주의 기반 융합 네트워크(CombAtt)를 사용한다.
• 각 모달은 전용 딥 네트워크를 통해 별도로 인코딩된 후, 연결되고 주의 기반 가중치를 적용하여 융합 표현을 생성한다.
• 융합 표현은 ReLU 활성화 함수와 드롭아웃(비율 0.25 및 0.2)을 적용한 두 개의 밀집층을 통과하여 정규화된다.
• 최종 레이어는 PHQ-8 점수(0–24)를 예측하기 위해 회귀를 수행하며, 엔드 투 엔드 훈련을 위해 평균 제곱 오차 손실을 사용한다.
• 주의 메커니즘은 추론 중에 각 모달의 동적 중요도 가중치를 학습하여 입력 콘텐츠에 따라 적응적인 융합을 가능하게 한다.
• 다양한 융합 구성(주의 기반 여부, 특정 모달 제거 등)을 비교하는 실험을 통해 기여도를 분리한다.

실험 결과

연구 질문

• RQ1 청각, 텍스트, 시각적 모달을 융합하는 것이 단일 또는 부분적 모달 조합보다 더 나은 우울증 정도 추정을 가능하게 하는가?
• RQ2 주의 메커니즘이 고정 또는 비융합 전략에 비해 다모달 우울증 추정 성능을 어떻게 향상시키는가?
• RQ3 텍스트, 청각, 시각 중 어느 모달이 PHQ-8 점수 예측에 가장 크게 기여하는가?
• RQ4 제안된 모델이 DAIC-WOZ 기준 데이터셋에서 기존 최신 기술 수준의 방법들을 얼마나 능가하는가?

주요 결과

• 청각, 텍스트, 시각적 모달을 모두 융합한 경우가 가장 우수한 성능을 보였으며, RMSE는 4.14, MAE는 3.07로, 다른 모든 조합보다 뚜렷이 뛰어났다.
• 텍스트 모달만으로도 예측 정확도에 가장 큰 기여를 했으며, ME TR 모델이 가장 낮은 RMSE(4.80)와 MAE(3.74)를 기록함으로써 임상적 직관을 뒷받침했다.
• 제안된 CombAtt 모델은 이전 SOTA 방법(VFSC semantic) 대비 RMSE를 7.17% 감소시키고 MAE를 8.08% 감소시켜 통계적으로 유의미한 향상을 보였다.
• 주의 메커니즘이 모달의 동적 가중치 조정을 가능하게 하여 성능 향상을 이룬 것으로 나타났으며, 주의 기반 모델(CombAtt, RMSE: 4.14)이 주의 미사용 버전(4.69)보다 뛰어난 결과를 보였다.
• 모델의 성능은 평균 PHQ-8 점수를 예측하는 베이스라인(RMSE=5.73, MAE=4.74)을 뛰어넘어 의미 있는 회귀 능력을 보였다.
• 모든 구성 중에서 전체 모달 융합을 적용한 CombAtt가 가장 높은 설명된 분산 점수(EVS=0.62)를 기록하여 강력한 예측 능력을 보였다.