[논문 리뷰] A Novel Sentiment Analysis Engine for Preliminary Depression Status Estimation on Social Media

Sudhir Kumar Suman, Hrithwik Shalu외 3명|arXiv (Cornell University)|2020. 11. 29.

Mental Health via Writing참고 문헌 17인용 수 10

한 줄 요약

이 논문은 RoBERTa 기반의 시ames 네트워크 문장 분류기를 사용하여 사용자 트윗을 동적으로 업데이트되는 레이블된 감정 표준 코퍼스와 비교함으로써 트위터에서 우울 언어를 탐지하는 클라우드 기반 스마트폰 애플리케이션을 제안한다. 모델은 테스트 정확도 87.23%와 AUC 0.8621을 달성하여 전통적인 분류 방식이 아닌 의미적 유사도 매칭을 통한 초도 우울 상태 추정에서 뛰어난 성능을 보였다.

ABSTRACT

Text sentiment analysis for preliminary depression status estimation of users on social media is a widely exercised and feasible method, However, the immense variety of users accessing the social media websites and their ample mix of vocabularies makes it difficult for commonly applied deep learning-based classifiers to perform. To add to the situation, the lack of adaptability of traditional supervised machine learning could hurt at many levels. We propose a cloud-based smartphone application, with a deep learning-based backend to primarily perform depression detection on Twitter social media. The backend model consists of a RoBERTa based siamese sentence classifier that compares a given tweet (Query) with a labeled set of tweets with known sentiment ( Standard Corpus ). The standard corpus is varied over time with expert opinion so as to improve the model's reliability. A psychologist ( with the patient's permission ) could leverage the application to assess the patient's depression status prior to counseling, which provides better insight into the mental health status of a patient. In addition, to the same, the psychologist could be referred to cases of similar characteristics, which could in turn help in more effective treatment. We evaluate our backend model after fine-tuning it on a publicly available dataset. The find tuned model is made to predict depression on a large set of tweet samples with random noise factors. The model achieved pinnacle results, with a testing accuracy of 87.23% and an AUC of 0.8621.

연구 동기 및 목표

• 기존의 NLP 모델들이 언어적 다양성과 적응성 부족으로 인해 사회 미디어 사용자 내에서의 우울을 탐지하는 데 어려움을 겪는 문제를 해결하기 위해.
• 심리상담 전에 심리학자들이 실시간 소셜 미디어 분석을 통해 환자의 정신건강 상태를 평가할 수 있도록 조기 우울 감지 능력을 향상시키기 위해.
• 이전에 레이블링된 사례와 유사도 기반으로 환자를 우선순위 정렬함으로써 정신건강 서비스의 효율성을 높이기 위해.
• 세밀하게 튜닝된 트랜스포머 모델을 활용하여 실시간으로 신뢰할 수 있는 우울 감지 스크리닝을 지원하는 확장 가능한 클라우드 기반 모바일 애플리케이션을 개발하기 위해.

제안 방법

• 사용자 트윗(쿼리)와 알려진 감정이 부여된 레이블된 트윗 표준 코퍼스 사이의 의미적 유사도를 계산하기 위해 RoBERTa 기반의 시ames 문장 인코더를 사용한다.
• 모델은 이진 레이블(긍정/부정)이 부여된 공개된 트위터 감성 데이터셋으로 훈련되며, 보류된 테스트 세트에서 철저히 검증된다.
• 의미적 검색 알고리즘이 잠재적 임bedding 공간 내 코사인 유사도 기반으로 표준 코퍼스에서 가장 유사한 트윗을 검색한다.
• 표준 코퍼스는 전문가가 검증한 레이블을 주기적으로 업데이트하여 모델의 신뢰성과 적응성을 시간이 지남에 따라 향상시킨다.
• 모델은 RoBERTa의 전이 학습을 통해 비공식적인 소셜 미디어 언어 내의 미묘한 언어 패턴을 포착한다.
• 추론 파이프라인은 수정되지 않은 원본 트윗을 처리하며, 철자 오류 수정 없이도 유사도 점수를 계산함으로써 실제 세계의 언어 다양성을 유지한다.

실험 결과

연구 질문

• RQ1 언어적 변동성이 존재함에도 불구하고 시ames 문장 임베딩 모델이 소셜 미디어 텍스트 내에서의 우울 감정을 효과적으로 탐지할 수 있는가?
• RQ2 의미적 비교 기반 접근 방식의 성능이 트위터에서의 우울 감지에 있어 전통적인 지도 학습 분류 방식과 비교해 어떻게 다른가?
• RQ3 동적으로 업데이트되고 전문가가 검증한 표준 코퍼스는 얼마나 우울 감지 모델의 신뢰성과 적응성 향상에 기여하는가?
• RQ4 심리학자들이 유사한 우울 프로파일을 가진 환자를 식별하여 더 효과적인 치료 계획을 수립할 수 있도록 모델이 임상 워크플로우를 지원할 수 있는가?

주요 결과

• 모델은 95% 신뢰구간 ±0.1855를 포함한 테스트 정확도 87.23%를 달성하여 높은 정밀도와 안정성을 보였다.
• 모델은 AUC 0.8621을 기록하여 우울성과 비우울성 언어를 효과적으로 구분하는 강력한 분류 성능를 입증했다.
• 가장 유사한 우울성 트윗은 코사인 유사도 0.7431을 기록했으며, 이는 긍정 감성 코퍼스 평균 유사도(0.1138)보다 뚜렷하게 높아 감성 클래스 간 효과적인 분리가 이루어졌음을 확인했다.
• 추론 과정에서 철자 교정을 적용하지 않아도 되므로 노이즈와 비공식적 언어에 대한 강건성이 입증되었다.
• 다양한 테스트 케이스에서 우울성 쿼리와 긍정성 코퍼스 간의 의미적 유사도 갭이 일관되게 크게 유지되어, 모델이 미묘한 정서적 신호를 탐지하는 능력이 검증되었다.
• 유사한 언어적 및 정서적 프로파일을 가진 사례를 식별함으로써 시스템은 확장 가능하고 실시간 환자 선별을 가능하게 하여 정신건강 서비스의 효율적 배분을 지원한다.