[논문 리뷰] Early Risk Detection of Pathological Gambling, Self-Harm and Depression Using BERT

Ana-Maria Bucur, Adrian Cosma외 1명|arXiv (Cornell University)|2021. 06. 30.

Mental Health via Writing참고 문헌 33인용 수 17

한 줄 요약

이 논문은 레딧에서의 소셜 미디어 텍스트를 활용해 병적 도박, 자해, 우울증 심각도에 대한 조기 위험 탐지에 BERT 기반 접근법을 제시한다. 사용자 게시물과 설문지 답변 간의 정렬을 위해 미세조정된 BERT 모델과 대비 학습을 활용함으로써, 블루팀은 Task 3(우울증 심각도)에서 최신 기술 수준의 성능을 달성하였으며, AHR 점수 30.36%를 기록하여 약세 학습 기반 정신건강 스크리닝에서 의미적 유사도 학습의 효과를 입증하였다.

ABSTRACT

Early risk detection of mental illnesses has a massive positive impact upon the well-being of people. The eRisk workshop has been at the forefront of enabling interdisciplinary research in developing computational methods to automatically estimate early risk factors for mental issues such as depression, self-harm, anorexia and pathological gambling. In this paper, we present the contributions of the BLUE team in the 2021 edition of the workshop, in which we tackle the problems of early detection of gambling addiction, self-harm and estimating depression severity from social media posts. We employ pre-trained BERT transformers and data crawled automatically from mental health subreddits and obtain reasonable results on all three tasks.

연구 동기 및 목표

• 소셜 미디어 텍스트를 활용한 정신건강 위험 조기 탐지에 대한 계산적 방법 개발.
• 정신건강 NLP에서 라벨이 부족한 데이터 문제를 해결하기 위해 전이 학습과 약세 학습을 활용.
• 사용자 게시물과 설문지 답변 간의 의미적 유사도 모델링을 통해 우울증 심각도 추정 향상.
• 정신건강 관련 레딧 서브레딧에서의 데이터 증강을 통해 병적 도박 및 자해 탐지 향상.
• 확장 가능하고 자동화된 위험 스크리닝을 통해 실제 조기 간섭 지원.

제안 방법

• 21개 질문에 각각 4개의 답변 옵션을 가진 베크 우울증 지표(BDI)에 대한 응답을 분류하기 위해 미세조정된 BERT 모델을 활용.
• 사용자 게시물 임베딩과 답변 텍스트 임베딩 간의 내적곱 유사도를 계산하여 의미적 정렬을 향상시키기 위해 대비 학습을 적용.
• 답변 선택지와 우울증 심각도 점수(경증/경미/중등/중증)를 동시에 예측하는 멀티헤드 아키텍처를 구성.
• AdamW 옵timizer를 사용하며, 분류에 대해 학습률 0.0002, 유사도 학습에 대해 0.00002로 설정하고 2 에포크 동안 훈련.
• 병적 도박 및 자해 관련 레딧 서브레딧을 크롤링하여 훈련 데이터를 증강하여 모델 일반화 능력 향상.
• 추론 단계에서는 개별 사용자에 대해 모든 사용자 게시물에서 가장 높은 확률을 가진 답변을 선택하여 노이즈가 많거나 희박한 입력에 대응.

실험 결과

연구 질문

• RQ1 비정형 소셜 미디어 텍스트에서 BERT 기반 모델이 병적 도박의 조기 징후를 효과적으로 탐지할 수 있는가?
• RQ2 사용자 게시물과 표준화된 설문지 답변 간의 의미적 유사도는 어떻게 우울증 심각도 추정을 향상시키는가?
• RQ3 노이즈가 많고 희박한 데이터에서 대비 학습이 약세 학습 기반 정신건강 위험 탐지 성능을 향상시키는가?
• RQ4 정신건강 관련 레딧 서브레딧에서의 데이터 증강은 자해 및 도박 탐지 작업의 성능 향상에 기여하는가?
• RQ5 분류, 동시 예측, 유사도 학습 등의 다양한 BERT 미세조정 전략 중에서 우울증 스크리닝에 대해 상대적인 성능는 어떻게 되는가?

주요 결과

• 유사도 학습 접근법(런 2)이 Task 3에서 최고의 전체 성능를 기록하여 AHR 점수 30.36%를 달성하였으며, 순수 분류 및 앙상블 방법을 초월하였다.
• 최고 성능 모델(런 2)은 75.42%의 ADODL 점수를 기록하여 지표 답변과의 강한 정렬을 보였다.
• 앙상블 방법(런 3 및 런 4)은 성능을 약간 향상시켰지만, 독립적인 유사도 학습 모델을 능가하지 못했다.
• 모델은 자원이 적은 환경에서도 강건성을 보였으며, 자해 탐지 과제에서 65.42%의 ACR 및 75.42%의 ADODL 점수를 기록하였다.
• 레딧 기반 데이터 증강을 통해 모델 일반화 능력 향상이 이루어졌으며, 특히 병적 도박 및 자해 탐지에서 유의미한 개선이 있었다.
• 대비 학습은 답변 서술 방식의 의미적 의미를 활용하여 성능을 크게 향상시켰으며, 노이즈가 많은 환경에서 표준 분류보다 더 효과적인 것으로 입증되었다.