[논문 리뷰] Detection and Classification of mental illnesses on social media using RoBERTa

Ankit Murarka, Balaji Radhakrishnan외 1명|arXiv (Cornell University)|2020. 11. 23.

Mental Health via Writing인용 수 35

한 줄 요약

이 논문은 Reddit 게시물에서 다섯 가지 정신 질환(우울증, 불안, 양극성 장애, ADHD, PTSD)과 None 클래스를 구분하고 분류하는 RoBERTa 기반 다중 클래스 분류기를 제시하고, 행동 테스트가 포함된 새로운 데이터세트를 도입한다.

ABSTRACT

Given the current social distancing regulations across the world, social media has become the primary mode of communication for most people. This has resulted in the isolation of many people suffering from mental illnesses who are unable to receive assistance in person. They have increasingly turned to social media to express themselves and to look for guidance in dealing with their illnesses. Keeping this in mind, we propose a solution to detect and classify mental illness posts on social media thereby enabling users to seek appropriate help. In this work, we detect and classify five prominent kinds of mental illnesses: depression, anxiety, bipolar disorder, ADHD and PTSD by analyzing unstructured user data on social media platforms. In addition, we are sharing a new high-quality dataset to drive research on this topic. We believe that our work is the first multi-class model that uses a Transformer-based architecture such as RoBERTa to analyze people's emotions and psychology. We also demonstrate how we stress-test our model using behavioral testing. With this research, we hope to be able to contribute to the public health system by automating some of the detection and classification process.

연구 동기 및 목표

• 소셜 미디어에서 정신 질환의 자동 탐지를 촉진하여 사회적 거리두기 중 공중 보건에 도움을 준다.
• 정신 질환 및 None 클래스를 망라하는 Reddit 게시물에서 고품질의 라벨링된 데이터셋을 생성한다.
• LSTM 기반 벤치마크와 비교하여 RoBERTa, BERT 등 트랜스포머 기반 분류기를 다중 클래스 정신 질환 분류에 대해 개발하고 비교한다.
• 행동 테스트와 클래스별 성능 분석을 통해 모델의 견고성을 입증한다.

제안 방법

• 다섯 가지 정신 질환과 None 클래스로 라벨링된 게시물(및 제목)을 분류하는 다중 클래스 RoBERTa 분류기를 구성한다.
• RoBERTa를 LSTM 및 BERT 벤치마크와 비교하여 성능 이점을 확립한다.
• 게시물, 제목, 그리고 게시물-제목 쌍을 각각 512 및 35 토큰 길이로 미세조정한다.
• 정밀도, 재현율, F1, 정확도를 사용하여 평가하고, 클래스별 성능 및 혼동 패턴을 분석한다.
• 입력 perturbations에 대한 모델의 견고성을 평가하기 위해 동의어 대체, 마스킹 등의 행동 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 소셜 미디어 게시물에서 RoBERTa 기반 모델이 우울증, 불안, 양극성 장애, ADHD, PTSD 및 None을 정확히 탐지하고 구분할 수 있는가?
• RQ2 다중 클래스 정신 질환 분류 작업에서 RoBERTa가 LSTM 및 BERT 벤치마크와 어떻게 비교되는가?
• RQ3 분류 성능에 게시물만 사용하는지 제목 또는 둘 다 사용하는지가 어떤 영향을 미치는가?
• RQ4 입력 perturbations 및 레이블 관련 perturbations(행동 테스트)에 대해 RoBERTa 모델은 얼마나 견고한가?

주요 결과

• RoBERTa는 LSTM보다 우수하고 BERT에 근접하게 대등하며, 특히 게시물+제목 입력을 사용할 때 더 높은 F1 및 정확도를 달성한다.
• 최적 구성에서 게시물에 대해 F1 0.86, 게시물+제목에 대해 0.89를 달성했다.
• None 클래스는 제목만으로도 높은 정확도(F1 > 0.97)로 탐지되어 비질환 게시물에 대한 위양성률이 낮다는 것을 시사한다.
• ADHD와 PTSD는 질환 클래스 중에서도 최우수 성능을 보이며, 우울증과 불안은 데이터 특성과 레이블 혼동으로 인해 상대적으로 약하다.
• 행동 테스트는 모델이 클래스 레이블의 어근 형태에 부분적으로 의존하는 것을 보였으나 동의어 대체와 마스킹 perturbation에서도 합리적인 성능을 유지한다.