[논문 리뷰] CAMS: An Annotated Corpus for Causal Analysis of Mental Health Issues in Social Media Posts

Muskan Garg, Chandni Saxena외 5명|arXiv (Cornell University)|2022. 07. 11.

Mental Health via Writing인용 수 25

한 줄 요약

CAMS는 Reddit 게시물에서 해석 가능한 인과 분석을 위한 공개 주석 코퍼스를 도입하여 직접 원인을 여섯 가지 범주로 라벨링하고 이 작업에 대해 분류기를 평가합니다. 로지스틱 회귀가 정확도에서 심층 모델을 능가합니다.

ABSTRACT

Research community has witnessed substantial growth in the detection of mental health issues and their associated reasons from analysis of social media. We introduce a new dataset for Causal Analysis of Mental health issues in Social media posts (CAMS). Our contributions for causal analysis are two-fold: causal interpretation and causal categorization. We introduce an annotation schema for this task of causal analysis. We demonstrate the efficacy of our schema on two different datasets: (i) crawling and annotating 3155 Reddit posts and (ii) re-annotating the publicly available SDCNL dataset of 1896 instances for interpretable causal analysis. We further combine these into the CAMS dataset and make this resource publicly available along with associated source code: https://github.com/drmuskangarg/CAMS. We present experimental results of models learned from CAMS dataset and demonstrate that a classic Logistic Regression model outperforms the next best (CNN-LSTM) model by 4.9\% accuracy.

연구 동기 및 목표

• 사회적 미디어 게시물에서 정신 건강에 대한 해석 가능한 인과 분석 정의.
• 정신 건강 문제의 직접적 원인에 대한 주석 스키마와 말뭉치 작성.
• Reddit 데이터 수집 및 CAMS 형성을 위한 SDCNL 데이터 재주석.
• 주석 검증은 전문가 검토와 Fleiss’ Kappa 합의를 통해 수행.
• CAMS에서 기계 학습 기본선을 평가하여 인과 분류의 가능성 확립.

제안 방법

• 여섯 가지 인과 범주 체계 제안: No reason, Bias/Abuse, Jobs/Careers, Medication, Relationship, Alienation.
• 전문 의학 전문가의 지도가 있는 텍스트, 원인, 추론으로 게시물 주석.
• 크롤링된 Reddit 데이터(3155 최종)와 재주석된 SDCNL 데이터(SDCNL train/test)를 결합하여 CAMS(총 5051) 형성.
• 데이터 간 주석자 간 일치도(Fleiss’ Kappa)를 활용한 신뢰도 검증.
• 텍스트를 GloVe 100-d 임베딩으로 전처리하고 여러 분류기 학습.
• LR, SVM, LSTM, CNN, GRU, Bi-LSTM, Bi-GRU 및 하이브리드를 CAMS 메트릭에서 평가(F1 per class 및 정확도).

실험 결과

연구 질문

• RQ1 공개적으로 주석된 코퍼스가 소셜 미디어 게시물에서 정신 건강 원인의 해석 가능한 인과 분석을 가능하게 하는가?
• RQ2 게시물에서의 정신 건강 원인에 대한 여섯 가지 인과 범주와 인간 주석의 신뢰도는 어떤가?
• RQ3 CAMS의 다중 클래스 인과 분류에서 전통적 모델과 딥 러닝 모델은 얼마나 잘 작동하는가?
• RQ4 크롤링 데이터 추가가 클래스 불균형과 모델 성능에 미치는 영향은?
• RQ5 자동 인과 분류의 일반적인 오류 패턴과 한계는 무엇인가?

주요 결과

• CAMS는 여섯 가지 원인 범주에 걸쳐 5051 개 주석 인스턴스를 산출한다.
• 로지스틱 회귀가 CAMS 테스트 데이터에서 전체 정확도 면에서 테스트 모델 중 최고를 달성하여 0.5013.
• CNN-LSTM(하이브리드)가 테스트된 딥러닝 모델 중 최고이며 0.4778 정확도.
• 이 작업에서 딥 모델은 일반적으로 LR보다 성능이 떨어지며, 이는 데이터 특성과 클래스 중첩 때문.
• 모델 전반에 걸쳐 Alienation 및 Relationship 원인이 더 도전적이며 종종 Bias/Abuse 및 Medication과 혼동된다.
• CAMS에 대한 주석자 간 합의는 61.28%로, 작업 주관성을 고려할 때 상당하지만 완벽한 신뢰도는 아니라는 것을 시사한다.