[논문 리뷰] See and Read: Detecting Depression Symptoms in Higher Education Students Using Multimodal Social Media Data

Paulo Mann, Aline Paes외 1명|arXiv (Cornell University)|2019. 12. 03.

Mental Health via Writing인용 수 4

한 줄 요약

이 연구는 고등교육 기관 재학생의 인스타그램 게시물(텍스트 캡션과 시각적 이미지)을 활용하여 중증 우울 증상 탐지를 위한 다중모달 기계학습 접근법을 제안한다. 딥러닝(ELMo + ResNet-34)과 특징 공학 기반 모델을 모두 사용하여, 최고 성능을 보인 융합 모델은 베크 우울증 검사(BDI) 점수 ≥20인 학생을 식별할 때 0.92 재현율과 0.69 정밀도를 기록하였으며, 소셜미디어 데이터를 통한 수동적이고 확장 가능한 걸러내기의 잠재력을 입증한다.

ABSTRACT

Mental disorders such as depression and anxiety have been increasing at alarming rates in the worldwide population. Notably, the major depressive disorder has become a common problem among higher education students, aggravated, and maybe even occasioned, by the academic pressures they must face. While the reasons for this alarming situation remain unclear (although widely investigated), the student already facing this problem must receive treatment. To that, it is first necessary to screen the symptoms. The traditional way for that is relying on clinical consultations or answering questionnaires. However, nowadays, the data shared at social media is a ubiquitous source that can be used to detect the depression symptoms even when the student is not able to afford or search for professional care. Previous works have already relied on social media data to detect depression on the general population, usually focusing on either posted images or texts or relying on metadata. In this work, we focus on detecting the severity of the depression symptoms in higher education students, by comparing deep learning to feature engineering models induced from both the pictures and their captions posted on Instagram. The experimental results show that students presenting a BDI score higher or equal than 20 can be detected with 0.92 of recall and 0.69 of precision in the best case, reached by a fusion model. Our findings show the potential of large-scale depression screening, which could shed light upon students at-risk.

연구 동기 및 목표

• 소셜미디어 데이터를 활용하여 고등교육 기관 재학생의 중증 우울 증상 탐지를 위한 확장 가능하고 수동적인 방법을 개발한다.
• 다중모달 인스타그램 콘텐츠(텍스트 및 이미지)에서 우울증 심각도를 분류하는 데 있어 딥러닝 모델과 전통적 특징 공학 모델의 효과성을 비교한다.
• 텍스트 및 시각적 특징을 융합함으로써 단모달 접근법보다 탐지 성능이 향상되는지 평가한다.
• 특히 전문적인 도움을 구하지 않을 가능성이 있는 학생들을 위해, 공개된 소셜미디어 데이터를 임상 선별의 대체 수단으로 사용할 수 있는지 타당성을 탐색한다.
• 사용자 생성 콘텐츠의 자동화되고 비침습적인 분석을 통해 위험에 노출된 학생을 조기에 식별함으로써 조기 간병 지원을 지원한다.

제안 방법

• 브라질의 대규모 대학 재학생들로부터 인스타그램 게시물(이미지 및 캡션)을 수집하였다.
• 우울증 심각도의 기준으로 브라질 포르투갈어 번역본인 베크 우울증 검사(BDI) 점수를 사용하였으며, 점수 ≥20은 중증 우울을 의미한다.
• 세 가지 딥러닝 모델을 훈련: 텍스트 전용(ELMo), 이미지 전용(ResNet-34), 다중모달 융합(concatenated ELMo + ResNet-34 특징).
• 세 가지 특징 공학 모델을 훈련: 텍스트 전용(TF-IDF + 감성 특징), 이미지 전용(사전 정의된 시각적 기술자), 다중모달 융합(concatenated 특징).
• 정밀도, 재현율, F1 점수를 사용하여 모델을 평가하였으며, 통계적 유의성은 맥너머의 검정을 통해 평가하였다.
• 다중모달 학습에서 해석 가능성과 성능 향상을 위해 주의 메커니즘과 전이 학습을 활용하였다.

실험 결과

연구 질문

• RQ1 인스타그램 이미지와 캡션의 다중모달 분석이 대학 재학생의 중증 우울 증상을 효과적으로 탐지할 수 있는가?
• RQ2 딥러닝 모델의 성능가지 전통적 특징 공학 모델의 성능를 비교할 때, 다중모달 소셜미디어 콘텐츠에서 우울증을 탐지하는 데 있어 어떤 차이가 있는가?
• RQ3 텍스트 및 시각적 특징을 융합함으로써 단모달 모델 대비 탐지 정확도가 향상되는가?
• RQ4 이 맥락에서, 텍스트 특징와 시각적 특징 중 어느 것이 우울증 심각도 분류에 더 큰 기여를 하는가?
• RQ5 소셜미디어 데이터를 통한 수동적이고 자동화된 걸러내기가, 임상 치료에 접근이 어려운 인구 집단에서 조기 탐지의 실질적인 대안이 될 수 있는가?

주요 결과

• 최고 성능을 보인 모델은 ELMo와 ResNet-34 특징을 융합한 딥러닝 다중모달 분류기로, BDI 점수 ≥20인 학생을 식별할 때 0.92 재현율과 0.69 정밀도를 기록하였다.
• 딥러닝 및 특징 공학 접근 모두에서 텍스트 전용 모델이 이미지 전용 모델보다 성능이 뛰어나, 이 맥락에서 텍스트 콘텐츠가 우울증 탐지에 더 정보가 많다는 것을 시사한다.
• 특징 공학 모델에서는 시각적 및 텍스트 특징을 연결함으로써 성능이 악화되었으며, 이는 모odal 간 보다 나은 정렬 기법이 필요함을 시사한다.
• 딥러닝 모델은 전이 학습 덕분에 더 우수한 일반화 능력을 보였지만, 해석 가능성은 감소하였다.
• 이 연구는 다중모달 소셜미디어 데이터가 특히 임상적 도움을 받지 않을 가능성이 있는 학생들을 대상으로 수동적이고 확장 가능한 우울증 걸러내기 지원이 가능하다고 확인한다.
• 특징 공학 모델은 더 뛰어난 해석 가능성을 제공하지만, 딥러닝 모델은 전이 학습 덕분에 새로운 도메인에 더 쉽게 적응할 수 있다.