[논문 리뷰] Depression Detection with Multi-Modalities Using a Hybrid Deep Learning Model on Social Media

Hamad Zogan, Xianzhi Wang외 2명|arXiv (Cornell University)|2020. 07. 03.

Mental Health via Writing참고 문헌 57인용 수 13

한 줄 요약

이 논문은 텍스트와 사용자 타임라인에서 유도된 다중모달 특징을 활용하여 소셜미디어 사용자의 우울증을 탐지하기 위해 이중성 게이트드 순환단위(BiGRUs)와 합성곱 신경망(CNNs)을 조합한 확장 가능한 하이브리드 딥러닝 모델을 제안한다. 이 모델은 짧고 흐릿한 사용자 게시물에서 장기적 의존성과 의미적 순서를 효과적으로 포착함으로써 트위터 데이터에서 강력한 베이스라인을 능가하는 성능을 보이며, 우울증 탐지 정확도를 크게 향상시킨다.

ABSTRACT

Social networks enable people to interact with one another by sharing information, sending messages, making friends, and having discussions, which generates massive amounts of data every day, popularly called as the user-generated content. This data is present in various forms such as images, text, videos, links, and others and reflects user behaviours including their mental states. It is challenging yet promising to automatically detect mental health problems from such data which is short, sparse and sometimes poorly phrased. However, there are efforts to automatically learn patterns using computational models on such user-generated content. While many previous works have largely studied the problem on a small-scale by assuming uni-modality of data which may not give us faithful results, we propose a novel scalable hybrid model that combines Bidirectional Gated Recurrent Units (BiGRUs) and Convolutional Neural Networks to detect depressed users on social media such as Twitter-based on multi-modal features. Specifically, we encode words in user posts using pre-trained word embeddings and BiGRUs to capture latent behavioural patterns, long-term dependencies, and correlation across the modalities, including semantic sequence features from the user timelines (posts). The CNN model then helps learn useful features. Our experiments show that our model outperforms several popular and strong baseline methods, demonstrating the effectiveness of combining deep learning with multi-modal features. We also show that our model helps improve predictive performance when detecting depression in users who are posting messages publicly on social media.

연구 동기 및 목표

• 소셜미디어에서 우울증을 탐지하는 데 있어 단일모달 접근 방식의 한계를 해결하기 위해 다중모달 사용자 생성 콘텐츠를 통합하는 것.
• 짧고 흐릿하며 문법적으로 어색한 소셜미디어 게시물에서의 우울증 탐지 정확도를 확장 가능한 딥러닝을 통해 향상시키는 것.
• 순차적 모델링 기법을 사용하여 사용자 타임라인의 장기적 행동 패턴과 의미적 의존성을 모델링하는 것.
• 사용자 게시물에서 텍스트, 순차적, 의미적 특징을 융합하여 예측 성능을 향상시키는 것.
• 정신건강 스크리닝을 위해 사전 훈련된 단어 임베딩과 딥 네트워크 아키텍처를 활용하는 강력하고 확장 가능한 모델을 개발하는 것.

제안 방법

• 소셜미디어 플랫폼의 사용자 게시물에서 텍스트 콘텐츠를 인코딩하기 위해 사전 훈련된 단어 임베딩을 활용한다.
• 사용자 타임라인 전반에 걸친 장기적 의존성과 잠재적 행동 패턴을 포착하기 위해 이중성 게이트드 순환단위(BiGRUs)를 적용한다.
• BiGRUs가 학습한 순차적 표현에서 고수준의 특징을 추출하기 위해 합성곱 신경망(CNNs)을 적용한다.
• 의미적 순서, 텍스트 콘텐츠, 시간 패턴을 포함한 다중모달 특징을 통합된 딥러닝 프레임워크에 통합한다.
• 순차적 모델링을 위한 BiGRUs와 특징 추상화를 위한 CNNs를 융합한 하이브리드 아키텍처를 설계하여 사용자 생성 콘텐츠에 대한 엔드 투 엔드 학습을 가능하게 한다.
• 짧고 비공식적인 게시물에서 우울증 징후를 탐지하는 데 중점을 두고, 공개된 소셜미디어 데이터를 기반으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 BiGRUs와 CNNs를 조합한 하이브리드 딥러닝 모델이 단일모달 또는 독립형 모델 대비 소셜미디어에서의 우울증 탐지 성능을 향상시킬 수 있는가?
• RQ2 텍스트와 사용자 타임라인에서 유도된 다중모달 특징이 우울증과 관련된 잠재적 행동 패턴을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 사용자 타임라인의 장기적 의존성이 짧고 흐릿한 게시물에서 우울 상태를 향상시킬 수 있는가?
• RQ4 사전 훈련된 단어 임베딩과 딥 순차적 모델링의 통합이 자원이 제한되고 노이즈가 많은 소셜미디어 텍스트에서의 우울증 탐지 능력을 향상시키는가?
• RQ5 실제 소셜미디어 데이터에서 제안된 모델은 강력한 베이스라인 방법에 비해 예측 성능 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 하이브리드 BiGRU-CNN 모델은 소셜미디어에서의 우울증 탐지에서 여러 유명하고 강력한 베이스라인 방법을 능가한다.
• 의미적 순서와 텍스트 콘텐츠를 포함한 다중모달 특징의 통합이 탐지 성능을 크게 향상시킨다.
• BiGRUs는 사용자 타임라인 전반에 걸친 장기적 의존성과 상관관계를 효과적으로 포착하여, 우울증과 관련된 미묘한 행동 패턴을 탐지하는 데 모델의 능력을 향상시킨다.
• CNN 구성요소는 BiGRUs가 생성한 순차적 특징에서 유용한 고수준 표현을 성공적으로 학습하여 분류 성능 향상에 기여한다.
• 모델은 짧고 비공식적이며 흐릿한 게시물이 많은 실제 트위터 데이터에서 강력한 확장성과 효과성을 보여준다.
• 결과는 딥러닝과 다중모달 특징을 융합할 경우 공개 소셜미디어 콘텐츠에서 더 정확하고 신뢰할 수 있는 우울증 탐지가 가능하다는 것을 확인한다.