[论文解读] Deep Learning and Large Language Models for Audio and Text Analysis in Predicting Suicidal Acts in Chinese Psychological Support Hotlines

Yining Chen, Jianqiang Li+4 more|arXiv (Cornell University)|Sep 10, 2024

Mental Health via WritingPsychology被引用 3

一句话总结

本研究提出了一种基于大型语言模型（LLM）的新颖流程，用于总结时长一小时的中文热线通话转录文本，并预测未来的自杀行为。通过结合 LLM 驱动的文本摘要与临床风险评估量表，该方法在 F1 分数上达到 76%，相较于人工评估和深度学习基线分别提升了 27.82 个百分点和 7 个百分点，展现出在真实心理健康场景中实现人工智能辅助自杀风险预测的强大潜力。

ABSTRACT

Suicide is a pressing global issue, demanding urgent and effective preventive interventions. Among the various strategies in place, psychological support hotlines had proved as a potent intervention method. Approximately two million people in China attempt suicide annually, with many individuals making multiple attempts. Prompt identification and intervention for high-risk individuals are crucial to preventing tragedies. With the rapid advancement of artificial intelligence (AI), especially the development of large-scale language models (LLMs), new technological tools have been introduced to the field of mental health. This study included 1284 subjects, and was designed to validate whether deep learning models and LLMs, using audio and transcribed text from support hotlines, can effectively predict suicide risk. We proposed a simple LLM-based pipeline that first summarizes transcribed text from approximately one hour of speech to extract key features, and then predict suicidial bahaviours in the future. We compared our LLM-based method with the traditional manual scale approach in a clinical setting and with five advanced deep learning models. Surprisingly, the proposed simple LLM pipeline achieved strong performance on a test set of 46 subjects, with an F1 score of 76\% when combined with manual scale rating. This is 7\% higher than the best speech-based deep learning models and represents a 27.82\% point improvement in F1 score compared to using the manual scale apporach alone. Our study explores new applications of LLMs and demonstrates their potential for future use in suicide prevention efforts.

研究动机与目标

• 开发并验证一种基于人工智能的方法，利用来自中文心理支持热线的长时录音与转录文本，预测自杀行为。
• 解决现有 AI 研究中对长时长、临床采集的热线对话在自杀风险预测方面研究不足的问题。
• 在真实世界自杀风险预测场景中，比较基于简单 LLM 流程与传统人工临床量表及先进深度学习模型的性能表现。
• 探索将 LLM 与人工评分的临床量表相结合，以提升预测准确度，并支持心理健康专业人员识别高风险来电者。

提出的方法

• 该方法首先使用大型语言模型处理约一小时的热线通话转录文本，生成简洁且富含关键特征的摘要。
• 随后将 LLM 生成的摘要作为输入，输入至二分类模型中，以预测未来的自杀行为。
• 该方法将 LLM 输出与人工评分的临床风险评估量表（如标准化自杀风险评估）相结合，以提升预测性能。
• 模型在 46 名来电者的测试集上进行评估，性能与五种深度学习基线模型及单独使用人工量表的方法进行对比。
• LLM 流程设计简洁且可扩展，聚焦于从长篇临床叙述中实现上下文理解与语义抽象。
• 系统在 1,238 份长篇热线转录文本上进行训练，并在 46 例具有确认随访结果的案例上进行测试。

Figure 1 : The flowchart of this research, including (A) the workflow of the psychological support hotline, and two parts of experiments for the suicidal prediction task: (B) deep learning based speech analysis models, and (C) the proposed LLM text analysis pipeline.

实验结果

研究问题

• RQ1 大型语言模型能否有效从一小时长的转录心理热线通话中提取关键风险指标，以预测未来的自杀行为？
• RQ2 基于 LLM 的流程在预测自杀风险方面，相较于传统人工临床风险评估量表表现如何？
• RQ3 将 LLM 生成的摘要与人工临床评分结合，是否能显著提升预测准确度，超越单一方法的表现？
• RQ4 LLM 是否能检测到人类操作员或标准 NLP 模型可能遗漏的长篇叙述中的细微自杀线索？
• RQ5 LLM 在长篇自杀风险预测任务中，相较于在短文本序列上训练的先进深度学习模型，其性能优势在多大程度上体现？

主要发现

• 所提出的 LLM 流程在与人工临床风险评估量表结合后，F1 分数达到 76%，相较于单独使用人工量表提升了 27.82 个百分点。
• LLM 流程在 F1 分数上比表现最佳的基于语音的深度学习模型高出 7 个百分点，表明其在长篇临床数据上的卓越性能。
• 在复杂案例中，LLM 即使在人类操作员评估为中等至低风险的情况下，仍能正确识别出高风险个体，凸显其检测细微风险指标的能力。
• 该模型展现出显著的临床实用性，如案例研究所示，AI 预测成功标记了后来实施自杀行为的来电者，尽管临床医生判定其为低风险。
• LLM 与人工评分量表的整合显著提升了预测准确度，表明其在临床决策支持中具有协同作用。
• 本研究证实，LLM 能够有效处理来自临床热线的长篇、情感复杂的叙述，为自杀风险筛查提供可扩展的解决方案。

Figure 2 : Process and Details of Generating Methods for Segmentation and Summarization.