[논문 리뷰] Detecting Suicide Risk in Online Counseling Services: A Study in a Low-Resource Language

Amir Bialer, Daniel Izmaylov외 4명|arXiv (Cornell University)|2022. 09. 11.

Mental Health via Writing인용 수 4

한 줄 요약

이 논문은 히브리어 온라인 상담 대화에서 조기 자살 위험 인식 탐지하기 위해 임상 전문가가 검토한 자살 징후 어휘집을 보완한 최적화된 사전 훈련된 언어 모델인 SI-BERT를 제안한다. 앙상블 모델은 0.91 ROC-AUC와 F2-score 0.55를 기록하여 강력한 베이스라인을 능가하며, 텍스트의 20%만으로도 위험을 조기에 탐지한다.

ABSTRACT

With the increased awareness of situations of mental crisis and their societal impact, online services providing emergency support are becoming commonplace in many countries. Computational models, trained on discussions between help-seekers and providers, can support suicide prevention by identifying at-risk individuals. However, the lack of domain-specific models, especially in low-resource languages, poses a significant challenge for the automatic detection of suicide risk. We propose a model that combines pre-trained language models (PLM) with a fixed set of manually crafted (and clinically approved) set of suicidal cues, followed by a two-stage fine-tuning process. Our model achieves 0.91 ROC-AUC and an F2-score of 0.55, significantly outperforming an array of strong baselines even early on in the conversation, which is critical for real-time detection in the field. Moreover, the model performs well across genders and age groups.

연구 동기 및 목표

• 히브리어와 같이 자원이 부족하고 형태가 복잡한 언어에서 자살 위험 탐지에 활용 가능한 자연어 처리 자원의 부족을 해결하기 위해.
• 실시간 텍스트 기반 상담 세션에서 자살 위험의 조기 탐지를 가능하게 하는 계산 모델을 개발하기 위해.
• 전문 분야의 언어 지식(전문가가 검토한 어휘집을 통해)을 맥락 기반 사전 훈련된 언어 모델과 융합하여 탐지 성능을 향상시키기 위해.
• 다양한 인구 통계적 요소(성별, 연령대 등)에 걸쳐 견고한 성능을 유지를 보장하기 위해.
• 상담사가 위험에 처한 개인을 신속하고 정확하게 식별할 수 있도록 지원하는 구현 가능한 시스템을 구축하기 위해.

제안 방법

• 도메인 특화 상담 데이터를 사용하여 마스크된 언어 모델링 작업에 대해 사전 훈련된 히브리어 BERT 모델(AlephBERT)을 미세 조정한다.
• 자살 위험 인식과 관련된 OOV(표본 외 어휘) 토큰을 모델의 어휘에 추가하여 커버리지 향상.
• 수동으로 총괄된 임상적으로 승인된 자살 징후 어휘집을 기반으로 별도의 로지스틱 회귀 모델을 훈련한다.
• 최적화된 SI-BERT와 어휘 기반 분류기의 예측을 조합하여 앙상블 모델을 구축한다.
• 두 단계의 미세 조정을 적용: 첫 번째로 마스크된 언어 모델링 작업에 대해, 두 번째로 도메인 특화 데이터를 사용한 자살 위험 인식 분류 작업에 대해.
• ROC-AUC, F2-score, 그리고 인구 통계적 요소 및 텍스트 자르기 수준에 따른 분석을 통해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 도메인 특화 상담 데이터에 대해 미세 조정된 사전 훈련된 언어 모델이 자원이 부족한 언어에서 기존의 베이스라인보다 조기에 더 정확하게 자살 위험을 탐지할 수 있는가?
• RQ2 임상적으로 검토된 어휘집과 맥락 기반 언어 모델을 융합하면, 개별적으로 사용했을 때보다 탐지 성능이 어떻게 향상되는가?
• RQ3 모델은 성별, 연령대 등 다양한 인구 통계적 집단과 초기 대화 단계에서 어떤 정도의 성능 유지 능력을 보이는가?
• RQ4 부정, 모호한 표현, 비의도적 내용을 처리할 때 모델의 행동에 어떤 정성적 차이가 있는가?
• RQ5 도메인 특화 사전 훈련 및 미세 조정은 표준 어휘집이 포괄하지 못하는 정교한 자살 표현을 포착하는 데 모델의 능력에 어떤 영향을 미치는가?

주요 결과

• 앙상블 모델은 ROC-AUC 0.91과 F2-score 0.55를 기록하여, W2V, 피드포워드 네트워크, 히브리어 심리학 어휘집 등 강력한 베이스라인을 뛰어넘었다.
• 도구사용자의 첫 20% 발언만을 처리할 경우에도 ROC-AUC가 82%를 기록하여 조기 탐지 능력이 뛰어나다는 것을 입증했다.
• 성별 및 연령대에 관계없이 일관된 성능을 유지하여, 다양한 인구 통계적 요소에 대한 강인함을 입증했다.
• SI-BERT 모델은 수면제와 나쁜 생각을 포함한 비의도적 발언을 부정으로 정확히 분류했지만, 표준 최적화 BERT 모델은 이를 긍정으로 잘못 분류했다. 이는 도메인 특화 최적화의 유용성을 보여준다.
• 클래식한 자살 위험 인식 예시(‘나는 삶이 너무 힘들다’)를 정확히 식별했고, 부정문(‘나는 죽고 싶지 않다’)도 정확히 기각했다. 이는 임상적으로 의도와 의도가 없는 표현을 구분하는 데 있어 일치하는 결과를 보였다.
• 수작업 어휘집은 높은 정밀도를 기록했지만, 재현율과 AUC는 앙상블 모델에 비해 낮아, 맥락 기반 모델링이 자살 위험의 미묘한 표현을 포착하는 데 필수적임을 시사한다.