[논문 리뷰] Deep Learning and Large Language Models for Audio and Text Analysis in Predicting Suicidal Acts in Chinese Psychological Support Hotlines
이 연구는 중국어 유형의 심리 상담 핫라인 전화 통화를 1시간 분량으로 요약하고 향후 자살 행동을 예측하는 데 사용되는 새로운 대규모 언어 모델(Large Language Model, LLM) 기반 파이프라인을 제안한다. LLM 기반 텍스트 요약과 임상 위험 척도를 조합함으로써, 이 방법은 수동 평가와 딥러닝 기반 기준 모델보다 각각 27.82%p와 7%p 높은 F1 스코어 76%를 달성하여 실제 정신건강 분야에서 인공지능 기반 자살 위험 예측의 강력한 잠재력을 입증한다.
Suicide is a pressing global issue, demanding urgent and effective preventive interventions. Among the various strategies in place, psychological support hotlines had proved as a potent intervention method. Approximately two million people in China attempt suicide annually, with many individuals making multiple attempts. Prompt identification and intervention for high-risk individuals are crucial to preventing tragedies. With the rapid advancement of artificial intelligence (AI), especially the development of large-scale language models (LLMs), new technological tools have been introduced to the field of mental health. This study included 1284 subjects, and was designed to validate whether deep learning models and LLMs, using audio and transcribed text from support hotlines, can effectively predict suicide risk. We proposed a simple LLM-based pipeline that first summarizes transcribed text from approximately one hour of speech to extract key features, and then predict suicidial bahaviours in the future. We compared our LLM-based method with the traditional manual scale approach in a clinical setting and with five advanced deep learning models. Surprisingly, the proposed simple LLM pipeline achieved strong performance on a test set of 46 subjects, with an F1 score of 76\% when combined with manual scale rating. This is 7\% higher than the best speech-based deep learning models and represents a 27.82\% point improvement in F1 score compared to using the manual scale apporach alone. Our study explores new applications of LLMs and demonstrates their potential for future use in suicide prevention efforts.
연구 동기 및 목표
- 중국 심리 상담 핫라인에서 수집한 장시간 음성 및 전사 텍스트를 활용하여 자살 행동을 예측하는 AI 기반 방법을 개발하고 검증하는 것.
- 기존 AI 연구에서 다루지 않은 바람직하지 않은 장기 지속, 임상적으로 수집된 핫라인 대화를 기반으로 한 자살 위험 예측의 격차를 해소하는 것.
- 실제 임상 환경에서 전통적인 수동 임상 위험 척도와 고급 딥러닝 모델에 비해 단순한 LLM 기반 파이프라인의 성능을 비교하는 것.
- LLM와 인간 평가 기반 임상 척도를 융합하여 예측 정확도를 향상시키고 정신건강 전문가가 고위험 유형을 식별하는 데 지원할 수 있도록 하는 것.
제안 방법
- 이 방법은 먼저 핫라인 전화에서 약 1시간 분량의 전사된 대화를 대규모 언어 모델을 사용해 핵심 특징을 담은 간결한 요약문으로 생성한다.
- LLM가 생성한 요약문은 이후 이진 분류 모델의 입력으로 사용되어 향후 자살 행동을 예측한다.
- 이 접근법은 LLM 출력 결과를 수동으로 평가한 임상 위험 척도(예: 표준화된 자살 위험 평가 도구 등)와 융합하여 예측 성능을 향상시킨다.
- 모델은 46명의 대상자로 구성된 테스트 세트에서 평가되었으며, 다섯 개의 딥러닝 기반 기준 모델과 수동 척도만을 사용한 경우와 성능을 비교하였다.
- LLM 파이프라인은 간단하고 확장 가능한 설계를 하였으며, 장시간 임상 기록의 맥락적 이해와 의미 추상화에 중점을 두었다.
- 시스템은 1,238건의 장시간 핫라인 전사본으로 훈련되었으며, 확정된 후속 결과가 있는 46건의 사례로 테스트되었다.
실험 결과
연구 질문
- RQ1대규모 언어 모델은 1시간 분량의 전사된 심리 상담 핫라인 대화에서 핵심 위험 지표를 효과적으로 추출하여 향후 자살 행동을 예측할 수 있는가?
- RQ2LLM 기반 파이프라인의 성능는 자살 위험 예측에서 전통적인 수동 임상 위험 평가 척도와 비교해 어떻게 다른가?
- RQ3LLM가 생성한 요약문과 수동 임상 평가를 융합하면, 각각의 방법만 사용했을 때보다 예측 정확도가 향상되는가?
- RQ4LLM는 인간 운영자나 표준 NLP 모델이 놓칠 수 있는 장시간 기록 내의 미세한 자살 징후를 탐지할 수 있는가?
- RQ5LLM는 짧은 텍스트 시퀀스로 훈련된 고급 딥러닝 모델에 비해 장시간 자살 위험 예측에서 얼마나 뛰어난 성능을 보이는가?
주요 결과
- 제안된 LLM 기반 파이프라인은 수동 임상 위험 척도와 조합했을 때 F1 스코어 76%를 달성하였으며, 이는 수동 척도만 사용했을 때보다 27.82%p 향상된 결과이다.
- LLM 파이프라인은 최고의 음성 기반 딥러닝 모델보다 F1 스코어에서 7%p 높은 성능을 보였으며, 이는 장시간 임상 데이터에서 뛰어난 성능을 입증한다.
- 복잡한 사례에서는 인간 운영자가 중간 또는 저위험으로 평가한 대상자에 대해서도 LLM이 고위험을 정확히 식별하였다. 이는 미세한 위험 지표를 탐지할 수 있는 능력을 보여준다.
- 모델은 사례 연구를 통해 임상의가 저위험으로 판단한 환자 중 실제로 자살 시도를 한 사례를 AI 예측이 정확히 탐지한 것으로 나타나 임상적으로 의미 있는 유용성을 보였다.
- LLM와 인간 평가 기반 척도의 융합은 예측 정확도를 크게 향상시켰으며, 이는 임상 의사결정 지원에서 상호보완적인 역할을 할 수 있음을 시사한다.
- 본 연구는 LLM이 장시간이고 감정적으로 복잡한 임상 핫라인 대화를 효과적으로 처리할 수 있음을 확인하였으며, 자살 위험 스크리닝에 확장 가능한 솔루션을 제공한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.