[논문 리뷰] Explainable Depression Detection with Multi-Modalities Using a Hybrid Deep Learning Model on Social Media

Hamad Zogan, Imran Razzak외 3명|arXiv (Cornell University)|2020. 07. 03.

Mental Health via Writing참고 문헌 46인용 수 13

한 줄 요약

이 논문은 텍스트 분석을 위한 계층적 주의 메커니즘(HAN)과 행동, 정서, 사회적, 주제적 특성 등 다중모달 특징을 결합한 하이브리드 딥러닝 모델인 MDHAN을 제안한다. 이 모델은 89%의 F1 스코어를 기록하며 주의 메커니즘을 통해 핵심 단어와 트윗을 강조함으로써 설명 가능성을 확보한다. 기존의 기준 모델들을 크게 능가하며, 설명 가능한 자연어 처리와 다중모달 데이터 통합의 가치를 입증한다.

ABSTRACT

Model interpretability has become important to engenders appropriate user trust by providing the insight into the model prediction. However, most of the existing machine learning methods provide no interpretability for depression prediction, hence their predictions are obscure to human. In this work, we propose interpretive Multi-Modal Depression Detection with Hierarchical Attention Network MDHAN, for detection depressed users on social media and explain the model prediction. We have considered user posts along with Twitter-based multi-modal features, specifically, we encode user posts using two levels of attention mechanisms applied at the tweet-level and word-level, calculate each tweet and words' importance, and capture semantic sequence features from the user timelines (posts). Our experiments show that MDHAN outperforms several popular and robust baseline methods, demonstrating the effectiveness of combining deep learning with multi-modal features. We also show that our model helps improve predictive performance when detecting depression in users who are posting messages publicly on social media. MDHAN achieves excellent performance and ensures adequate evidence to explain the prediction.

연구 동기 및 목표

• 기존의 소셜 미디어 우울증 탐지 모델에서의 해석 불가능성 문제를 해결하여 사용자 신뢰도와 임상적 활용도를 향상시키기 위해.
• 사용자 타임라인의 텍스트 콘텐츠와 행동 특징(정서, 사회적, 주제, 도메인 특화)을 통합하여 자동 우울증 탐지의 정확성과 신뢰성을 향상시키기 위해.
• 모델이 우울증을 분류할 뿐 아니라 주의 메커니즘을 활용해 핵심 단어와 트윗을 식별함으로써 예측의 해석 가능성을 제공하기 위해.
• 각 모달리티의 기여도와 텍스트 및 행동 특징을 통합할 경우 모델 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 사용자 게시물을 계층적 주의 네트워크(HAN)를 통해 처리하여 단어 수준와 트윗 수준의 중요도 및 의미적 순서 특징을 파악한다.
• 다중모달 행동 특징(정서, 사회적, 주제, 도메인 특화)을 다층 퍼셉트론(MLP)에 입력하여 비텍스트적 행동 패턴을 학습한다.
• HAN과 MLP의 출력을 후기 융합(fusion) 방식으로 통합하여 분류 성능를 향상시키면서도 해석 가능성을 유지한다.
• 주의 메커니즘을 사용해 단어와 트윗에 가중치를 할당함으로써 모델의 해석 가능성을 확보하고 영향력 있는 콘텐츠를 강조한다.
• 단어 임bedding과 시간적 사용자 타임라인 순서를 사용해 실제 세계의 트위터 사용자 데이터셋에서 종합적인 모델을 훈련한다.
• 어조 점수를 단어 구름(word clouds)으로 시각화하여 특정 증상(예: 자살 생각, 무가치감, 수면 장애)에 대한 예측을 설명한다.

실험 결과

연구 질문

• RQ1 정서, 사회적, 주제, 도메인 특화 등의 다중모달 행동 특징을 통합할 경우 텍스트 중심 모델 대비 우울증 탐지 성능이 얼마나 향상되는가?
• RQ2 계층적 주의 메커니즘이 사용자 타임라인에서의 우울증 탐지 정확성과 해석 가능성에 얼마나 기여하는가?
• RQ3 정서, 사회적, 주제, 도메인 특화 등의 개별 모달리티 중에서 예측 성능에 가장 크게 기여하는 것은 무엇인가?
• RQ4 모델이 특정 우울증 증상과 관련된 핵심 단어와 트윗을 강조함으로써 인간이 이해할 수 있는 의미 있는 설명을 제공할 수 있는가?

주요 결과

• MDHAN은 89%의 F1 스코어를 기록하며 모든 강력한 기준 모델을 능가하여 HAN와 다중모달 특징을 융합한 전략의 효과성을 입증한다.
• 다중모달 특징만을 사용할 경우 성능이 크게 악화되어 텍스트 콘텐츠가 높은 성능을 내기 위해 필수적임을 확인한다.
• 주제나 사회 네트워크 특징을 제거할 경우 성능 저하가 가장 크게 발생하여 이들이 우울증 탐지에 핵심 기여를 한다는 것을 보여준다.
• HAN 구성 요소만으로도 다중모달 특징 전용 모델보다 뛰어난 성능을 보여, 사용자 타임라인에서 의미적 순서 모델링의 중요성을 확인한다.
• 주의 시각화 결과, 임상적으로 관련성이 높은 트윗과 단어(예: '4명 중 1명이 정서 장애를 앓는다'는 문장은 자살 생각에 대해 높은 가중치를 할당)에 정확히 높은 가중치를 할당한 것으로 나타났다.
• 무가치감, 에너지 상실, 수면 장애 등의 증상에 대해 생성된 단어 구름은 빈번하고 영향력 있는 용어들을 강조하여 모델의 해석 가능성과 임상적 관련성을 검증한다.