[논문 리뷰] Suicidal Ideation Detection on Social Media: A Review of Machine Learning Methods

Asma Abdulsalam, Areej Alhothali|arXiv (Cornell University)|2022. 01. 25.

Suicide and Self-Harm Studies인용 수 12

한 줄 요약

이 논문은 트위터, 레딧, 웨이보와 같은 플랫폼의 텍스트 및 언어적 특징을 활용해 소셜 미디어에서 자살 생각을 탐지하기 위한 24개의 기계학습 연구를 종합적으로 검토한다. 지원벡터머신(SVM), 랜덤 포레스트, 그리고 LSTMs와 CNN을 조합한 딥러닝 모델(LSTM-CNN)이 높은 성능을 보였으며, F1 스코어는 최대 94.1%에 이르렀다. 또한 현재 데이터셋에서 아랍어 연구가 부족한 점을 감안해 아랍어 분야의 연구 필요성을 강조한다.

ABSTRACT

Social media platforms have transformed traditional communication methods by allowing users worldwide to communicate instantly, openly, and frequently. People use social media to express their opinion and share their personal stories and struggles. Negative feelings that express hardship, thoughts of death, and self-harm are widespread in social media, especially among young generations. Therefore, using social media to detect and identify suicidal ideation will help provide proper intervention that will eventually dissuade others from self-harming and committing suicide and prevent the spread of suicidal ideations on social media. Many studies have been carried out to identify suicidal ideation and behaviors in social media. This paper presents a comprehensive summary of current research efforts to detect suicidal ideation using machine learning algorithms on social media. This review 24 studies investigating the feasibility of social media usage for suicidal ideation detection is intended to facilitate further research in the field and will be a beneficial resource for researchers engaged in suicidal text classification.

연구 동기 및 목표

• 소셜 미디어 콘텐츠에서 자살 생각을 탐지하는 데 사용된 기계학습 기법에 대한 종합적 리뷰를 제공하는 것.
• 다양한 소셜 미디어 플랫폼과 언어에서 다양한 지도학습 및 비지도학습 기계학습 모델의 성능을 분석하고 비교하는 것.
• 자살 생각 예측에 가장 효과적인 특징 세트, 즉 언어적, 문법적, 정서 기반 특징을 규명하는 것.
• 현재 연구에서 아랍어 콘텐츠에 초점을 맞춘 연구가 부족한 점을 부각시키며, 아랍권에서 소셜 미디어 사용 증가에 비해 연구가 미흡한 점을 지적하는 것.
• 텍스트 분류 방법을 활용해 자동 자살 생각 탐지 시스템을 개발하는 연구자들에게 참고 자료로 기능하는 것.

제안 방법

• 2014년부터 2020년까지 출판된, 자살, 생각, 탐지, 기계학습과 관련된 关련 키워드를 포함한 논문을 대상으로 스코퍼스와 구글 색서치를 활용한 체계적 문헌 리뷰를 수행했다.
• 트위터, 레딧, 웨이보와 같은 플랫폼의 사용자 생성 콘텐츠에서 자살 생각을 탐지하기 위해 지도학습 모델을 적용한 24개의 연구를 분석했다.
• 일반적인 특징 공학 기법으로는 TF-IDF, N-grams, 품사 태깅, LIWC 어휘집, 정서 분석, 그리고 GloVe와 word2vec과 같은 사전 학습된 임베딩이 포함되었다.
• CNN, LSTM, Bi-LSTM 및 하이브리드 아키텍처(LSTM-CNN 등)와 같은 딥러닝 모델이 계층적 텍스트 표현을 학습하는 데 얼마나 효과적인지 평가했다.
• 정확도, 정밀도, 재현도, F1 스코어와 같은 표준 메트릭을 사용해 성능을 측정하였으며, 연구 및 플랫폼 간 결과를 통합하여 분석했다.
• 데이터셋 수집 방법도 분석하였는데, 자살 사전 기반 키워드 추출 및 정신건강 전문가의 수동 주석 처리 방식을 포함한다.

Figure 1: Flow diagram for a systematic reviews which included searches of databases

실험 결과

연구 질문

• RQ1 다양한 소셜 미디어 플랫폼에서 자살 생각 탐지에 가장 높은 성능을 보인 기계학습 모델은 무엇인가?
• RQ2 사용자 게시물에서 자살 생각을 예측하는 데 가장 예측력 있는 텍스트적, 언어적, 메타 특징 유형은 무엇인가?
• RQ3 영어, 중국어, 일본어, 아랍어와 같은 다양한 언어에서 모델 성능와 특징 중요도는 어떻게 달라지는가?
• RQ4 크기, 주석 품질, 언어 다양성 측면에서 현재 데이터셋의 한계는 무엇인가?
• RQ5 특히 아랍어와 같이 미흡하게 다뤄진 언어에 대해 자살 생각 탐지 분야의 주요 연구 격차는 무엇인가?

주요 결과

• SVM과 랜덤 포레스트가 가장 자주 사용된 기계학습 모델이었으며, 한 연구에서 트위터 데이터셋을 사용해 SVM이 F1 스코어 94.1%를 기록해 최고 성능을 보였다.
• LSTM-CNN과 같은 딥러닝 모델은 트위터 데이터셋에서 F1 스코어 93.4%를 기록해 일부 경우에서 전통적 모델을 초월하는 성능을 보였다.
• GloVe와 같은 사전 학습된 임베딩과 정서, 대명사, 욕설과 같은 문맥적 특징의 사용이 여러 연구에서 모델 성능 향상에 기여했다.
• 290만 개의 트윗을 포함한 일본어 연구처럼 더 큰 데이터셋을 사용한 연구는 높은 정밀도와 재현도를 기록했지만, 언어 및 주석 방법에 따라 성능이 다소 달라졌다.
• 영어와 중국어에서는 높은 성능를 기록했지만, 아랍어에 초점을 맞춘 유의미한 연구는 발견되지 않아 아랍권에서의 연구 격차가 심각한 것으로 나타났다.
• LIWC, TF-IDF, 품사 태깅 등 언어적, 문법적, 정서적 특징를 조합한 특징 세트는 플랫폼 간 단일 특징 접근 방식보다 뚜렷한 성능 우위를 보였다.

Figure 2: Distribution of Articles over Languages.