[논문 리뷰] A Quantitative and Qualitative Analysis of Suicide Ideation Detection using Deep Learning

Siqu Long, Rina Carines Cabral외 2명|arXiv (Cornell University)|2022. 06. 17.

Mental Health via Writing인용 수 4

한 줄 요약

이 연구는 다양한 입력 임베딩과 사전학습된 언어 모델을 사용하여 다수의 자살의향 탐지 데이터셋에서 최신 딥러닝 모델—RNN, CNN, 어텐션 기반 네트워크—를 복제하고 평가한다. 연구 결과, 모델 성능은 데이터셋 품질에 크게 의존하며, 특히 더 큰, 문맥적으로 풍부한 데이터셋에서는 RoBERTa와 같은 사전학습된 모델이 전통적인 아키텍처를 뛰어넘는 성능을 보이며, 사회미디어 텍스트에서 자살 위험을 탐지하는 데 있어 데이터 품질과 문맥 이해의 핵심적 역할을 확인한다.

ABSTRACT

For preventing youth suicide, social media platforms have received much attention from researchers. A few researches apply machine learning, or deep learning-based text classification approaches to classify social media posts containing suicidality risk. This paper replicated competitive social media-based suicidality detection/prediction models. We evaluated the feasibility of detecting suicidal ideation using multiple datasets and different state-of-the-art deep learning models, RNN-, CNN-, and Attention-based models. Using two suicidality evaluation datasets, we evaluated 28 combinations of 7 input embeddings with 4 commonly used deep learning models and 5 pretrained language models in quantitative and qualitative ways. Our replication study confirms that deep learning works well for social media-based suicidality detection in general, but it highly depends on the dataset's quality.

연구 동기 및 목표

• 사회미디어에서 재현 가능하고 일반화 가능한 자살의향 탐지 모델의 부족을 해결하기 위해 경쟁적인 기존 접근법을 복제한다.
• 다양한 딥러닝 모델—RNN, CNN, 어텐션 기반 네트워크—의 성능을 다수의 공개된 자살위험성 데이터셋에서 평가한다.
• 텍스트 특징의 영향을 분리하기 위해 텍스트 임베딩만을 사용한 결과와 다중모달 또는 특징 통합 접근 방식을 비교한다.
• 모든 실험의 전체 코드와 상세한 하이퍼파ram터 설정을 공개하여 연구의 투명성을 높이고 재현 및 향후 개발을 가능하게 한다.
• 임베딩 유형, 딥러닝 아키텍처, 사전학습된 언어 모델이 자살위험성 탐지 작업에 미치는 영향을 종합적으로 비교 분석한다.

제안 방법

• 이 연구는 두 가지 다른 자살위험성 탐지 데이터셋을 사용한다: 키워드 매칭 및 게시물 수준의 레이블링에 기반한 '자살관련 트윗 데이터셋'과 사용자 수준의 위험 레이블링에 기반한 'UMD Reddit 자살위험성 데이터셋'(게시물 수준의 레이블링은 아님).
• 7종의 입력 임베딩(예: 단어, 문자, 문서, 하이브리드 등)과 4종의 전통적인 딥러닝 모델(Bi-LSTM, CNN, GRU, 어텐션 기반 모델)의 조합 총 28가지 조합을 평가한다.
• 또한 BERT와 RoBERTa를 포함한 5종의 사전학습된 언어 모델을 두 데이터셋 전반에 걸쳐 평가하여 기준 모델 및 전통적인 아키텍처와의 성능를 비교한다.
• 평가에는 표준 분류 지표(정확도, F1, AUC)를 사용하며, 소프트맥스 레이어에서의 확률 히트맵을 포함한 질적 케이스 스터디를 수행하여 모델 예측을 해석한다.
• 5개의 폴드 교차검증과 80-20 훈련-테스트 분할을 사용하며, UMD Reddit 데이터셋의 레이블 분포를 유지하기 위해 비례 샘플링을 적용한다.
• 연구의 재현 가능성을 강조하기 위해 모든 실험의 전체 코드와 상세한 하이퍼파ram터 설정을 공개한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 RNN, CNN, 어텐션 기반 아키텍처의 성능는 자살의향 탐지에 어떻게 영향을 미치는가?
• RQ2 다양한 입력 임베딩(예: 단어, 문자, 문서, 하이브리드)은 자살위험성 탐지에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 BERT와 RoBERTa와 같은 사전학습된 언어 모델은 자살의향 탐지에서 전통적인 딥러닝 모델과 기준 분류기보다 어떻게 비교되는가?
• RQ4 데이터셋 품질과 레이블링 전략(게시물 수준 대비 사용자 수준)은 모델 성능와 일반화 능력에 어떤 영향을 미치는가?
• RQ5 예측 확률의 질적 분석은 모호하거나 문맥 의존적인 경우의 모델 추론 패턴을 드러내는 데 어느 정도 기여하는가?

주요 결과

• 자살관련 트윗 데이터셋에서는 하이브리드 임베딩을 사용한 어텐션 기반 모델이 가장 높은 정확도를 기록했으며, 전통적인 모델은 임베딩 유형에 관계없이 일관된 성능 패턴을 보였다.
• UMD Reddit 자살위험성 데이터셋에서는 RoBERTa가 모든 모델 중에서 가장 뛰어난 성능을 보이며 정확도가 45%-60% 범위에 머물렀으며, 기준 모델을 크게 앞섰다.
• 전통적인 딥러닝 모델(Bi-LSTM, CNN)의 성능은 임베딩 유형에 매우 민감했으며, 문서 임베딩은 가장 낮은 정확도를, 하이브리드 임베딩은 가장 높은 정확도를 기록했다.
• 기준 모델(Rotation Forest 및 SVM)은 Reddit 데이터셋에서 성능이 열악했으며, 특히 임상적 맥락이 아닌 곳에서 자살 관련 키워드가 사용된 경우, 예를 들어 'keg of Franziskaner is dead'에서 'dead'라는 단어가 사용된 경우에 특히 그러했다.
• RoBERTa 는 'dead'라는 단어가 포함되어 있음에도 불구하고 게시물을 '위험 없음'으로 정확히 분류했으며, 이는 간단한 모델들과는 달리 문맥 이해 능력을 유감없이 보여주었다.
• 이 연구는 딥러닝 모델이 충분하고 고급 품질의 데이터가 확보된 경우에만 자살의향 탐지에 효과적이라는 점을 확인했다. 특히 관심 있는 특정 클래스에 대해선 더욱 그러하다.