[논문 리뷰] Predicting Depression Severity by Multi-Modal Feature Engineering and Fusion

Aven Samareh, Yan Jin외 3명|arXiv (Cornell University)|2017. 11. 29.

Emotion and Mood Recognition참고 문헌 3인용 수 5

한 줄 요약

이 논문은 음성, 시각적 및 텍스트 특징을 통합하여 PHQ-8 우울증 심각도 점수를 단일 모odal 모델보다 더 정확하게 예측하는 다중모달 융합 모델을 제안한다. 신뢰도 기반 결합 전략(각 모달의 예측 중 가장 높은 모달 전용 신뢰도를 가진 예측을 선택하는 방식)을 사용함으로써, 모델은 테스트 RMSE 4.68과 MAE 4.31을 달성하여 AVEC2017 기준선 및 단일 모달 접근 방식을 능가한다.

ABSTRACT

We present our preliminary work to determine if patient's vocal acoustic, linguistic, and facial patterns could predict clinical ratings of depression severity, namely Patient Health Questionnaire depression scale (PHQ-8). We proposed a multi modal fusion model that combines three different modalities: audio, video , and text features. By training over AVEC 2017 data set, our proposed model outperforms each single modality prediction model, and surpasses the data set baseline with ice margin.

연구 동기 및 목표

• 음성 음향, 언어적 및 얼굴 패턴이 객관적으로 임상적 우울증 심각도를 예측할 수 있는지 조사하기.
• AVEC2017 데이터셋의 음성, 영상 및 텍스트 데이터를 위한 다중모달 특징 공학 파이프라인 개발하기.
• 신뢰도 기반 결합 전략을 사용하여 다중 모달 융합을 통해 예측 성능 향상시키기.
• PHQ-8 점수에서 모델의 성능을 AVEC2017 기준선 및 단일 모달 모델과 비교 평가하기.
• 각 모달이 우울증 심각도 예측에서 상대적으로 얼마나 정보가 많고, 어느 모달이 지배적인지를 탐색하기.

제안 방법

• COVAREP 기반 기술자표현을 사용해 총 1,425개의 음성 특징을 추출하였으며, F0, H1/H2, MCEP, HMPDM 및 델타/델타-델타 계수 포함.
• 68개의 얼굴 랜드마크에서 133개의 시각적 특징을 계산하였으며, 쌍별 유클리드 거리 및 각도를 포함하고, 왼쪽 눈, 오른쪽 눈 및 입 부위의 영역별 그룹화 적용.
• AFINN 정서 분석을 사용해 8개의 텍스트 특징을 추출하였으며, 정서 점수의 평균, 중앙값, 최소값, 최대값 및 표준편차에 더해, 우울증 관련 단어 비율 포함.
• 각 모달에 대해 별도로 랜덤 포레스트 회귀기를 적용해 예측 점수 생성.
• 모달 전용 예측의 표준편차가 가장 높은(즉, 가장 높은 신뢰도를 가진) 모달이 최종 출력을 결정하는 신뢰도 기반 융합 전략 구현.
• 승자독차 융합 규칙 적용: 각 모달의 신뢰도 점수 중 가장 높은 예측 하나를 선택하여 노이즈를 감소시키고 정확도를 향상시킴.

실험 결과

연구 질문

• RQ1 음성 음향, 언어적 및 얼굴 특징이 단일 모달 모델보다 PHQ-8 우울증 심각도를 더 정확하게 예측할 수 있는가?
• RQ2 신뢰도 기반 결합 전략은 단순 평균화 또는 기타 융합 전략과 비교해 다중모달 우울증 예측에서 어떻게 성능을 냈는가?
• RQ3 음성, 시각적 또는 텍스트 중 어느 모달이 예측에서 지배적인가? 이는 모달의 정보성에 대해 어떤 시사점을 갖는가?
• RQ4 정서 기반 텍스트 특징과 우울증 전용 단어 비율의 추가는 예측 성능 향상에 어느 정도 기여하는가?
• RQ5 성별과 같은 인구통계적 변수의 포함 여부가 모델의 예측 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 신뢰도 기반 융합 모델은 개발 세트에서 AVEC2017 기준선( RMSE: 5.42, MAE: 5.29)을 뛰어넘어 테스트 세트에서 RMSE 4.68, MAE 4.31을 달성하여 유의미하게 높은 성능을 보였다.
• 음성 단일 모달 모델이 개발 세트에서 가장 높은 성능을 보이며 RMSE 5.45, MAE 4.52를 기록하여 강력한 예측 능력을 지닌 것으로 나타났다.
• 성별을 포함한 융합 모델은 가장 낮은 테스트 RMSE(4.23)와 MAE(3.89)를 기록하여, 인구통계적 특징을 통합함으로써 성능 향상이 가능함을 보여주었다.
• 음성 모달이 항상 예측에서 지배적인 경향을 보였는데, 이는 더 높은 신뢰도 점수를 통해 더 신뢰할 수 있고 분류에 유용한 정보를 담고 있음을 시사한다.
• AFINN 정서 특징의 추가로 성능이 유의미하게 향상되어, 정서 기반 정서 분석이 우울증 심각도 예측에 있어 가치가 있음을 입증하였다.
• 침묵 탐지 및 공명주파수 분석과 같은 특징의 정밀 조정을 통해 모델 성능이 더욱 향상되었으며, 향후 특징 공학을 통한 향상 가능성이 있음을 시사한다.