[論文レビュー] Deep Learning and Large Language Models for Audio and Text Analysis in Predicting Suicidal Acts in Chinese Psychological Support Hotlines

Yining Chen, Jianqiang Li+4 more|arXiv (Cornell University)|Sep 10, 2024

Mental Health via WritingPsychology被引用数 3

ひとこと要約

本研究では、中国語のホットライン通話の1時間にわたる音声認識テキストを要約し、将来の自殺行動を予測する、新しい大規模言語モデル（LLM）ベースのパイプラインを提案する。LLMによるテキスト要約と臨床的リスクスケールを組み合わせることで、手動評価およびディープラーニングベースラインよりそれぞれ27.82ポイントおよび7ポイント高いF1スコア76％を達成し、実臨床現場におけるAI支援自殺行動予測の強力な可能性を示した。

ABSTRACT

Suicide is a pressing global issue, demanding urgent and effective preventive interventions. Among the various strategies in place, psychological support hotlines had proved as a potent intervention method. Approximately two million people in China attempt suicide annually, with many individuals making multiple attempts. Prompt identification and intervention for high-risk individuals are crucial to preventing tragedies. With the rapid advancement of artificial intelligence (AI), especially the development of large-scale language models (LLMs), new technological tools have been introduced to the field of mental health. This study included 1284 subjects, and was designed to validate whether deep learning models and LLMs, using audio and transcribed text from support hotlines, can effectively predict suicide risk. We proposed a simple LLM-based pipeline that first summarizes transcribed text from approximately one hour of speech to extract key features, and then predict suicidial bahaviours in the future. We compared our LLM-based method with the traditional manual scale approach in a clinical setting and with five advanced deep learning models. Surprisingly, the proposed simple LLM pipeline achieved strong performance on a test set of 46 subjects, with an F1 score of 76\% when combined with manual scale rating. This is 7\% higher than the best speech-based deep learning models and represents a 27.82\% point improvement in F1 score compared to using the manual scale apporach alone. Our study explores new applications of LLMs and demonstrates their potential for future use in suicide prevention efforts.

研究の動機と目的

• 中国の心理的支援ホットラインから収集した長時間の音声およびテキストを用いて、自殺行動を予測するAI駆動の手法を開発・検証すること。
• 従来のAI研究において未だ十分に検討されていない、長時間にわたる臨床的収集済みホットライン会話における自殺リスク予測のギャップを埋めること。
• 実臨床現場における自殺リスク予測において、シンプルなLLMベースのパイプラインが、従来の手動臨床スケールと高度なディープラーニングモデルの性能を比較すること。
• LLMと人間による評価の臨床スケールを統合することで、予測精度を向上させ、精神保健専門家が高リスクの通話者を特定するのを支援すること。

提案手法

• 本手法は、まずホットライン通話の約1時間分の音声認識テキストを大規模言語モデル（LLM）を用いて処理し、要約を生成する。この要約は、キーフィーチャーを凝縮した内容となる。
• LLMによって生成された要約を、二値分類モデルの入力として用い、将来の自殺行動を予測する。
• LLMの出力を、手動で評価された臨床的リスクスケール（例：標準化された自殺リスク評価）と統合することで、予測性能を向上させる。
• モデルは46通話のテストセットで評価され、5つのディープラーニングベースラインおよび単独での手動スケールと比較された。
• 本パイプラインはシンプルでスケーラブルであるように設計されており、長時間の臨床的ナラティブからの文脈理解と意味的要約に焦点を当てる。
• システムは1,238件の長時間ホットライントランスクリプトで学習され、確認されたフォローアップ結果を持つ46件のケースでテストされた。

Figure 1 : The flowchart of this research, including (A) the workflow of the psychological support hotline, and two parts of experiments for the suicidal prediction task: (B) deep learning based speech analysis models, and (C) the proposed LLM text analysis pipeline.

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（LLM）は、1時間にわたる心理的ホットライン通話のテキストから、将来の自殺行動を予測するためのキーリスク指標を効果的に抽出できるか？
• RQ2 LLMベースのパイプラインの性能は、自殺リスク予測において、従来の手動臨床リスク評価スケールと比べてどうか？
• RQ3 LLMによって生成された要約と手動臨床評価を組み合わせることで、単独で使用する場合よりも予測精度が向上するか？
• RQ4 LLMは、人間のオペレーターや標準的なNLPモデルが見逃す可能性のある、長時間のナラティブ内での微細な自殺兆候を検出できるか？
• RQ5 LLMは、短いテキストシーケンスで学習された高度なディープラーニングモデルに比べて、長時間の自殺リスク予測においてどの程度優れているか？

主な発見

• 提案されたLLMベースのパイプラインは、手動臨床リスクスケールと組み合わせることでF1スコア76％を達成し、手動スケール単体の結果より27.82ポイントも向上した。
• LLMパイプラインは、最良の音声ベースのディープラーニングモデルよりもF1スコアで7ポイント高い性能を示し、長時間の臨床的データに対して優れた性能を発揮した。
• 複雑なケースでは、人間のオペレーターが中程度〜低リスクと評価した者に対しても、LLMが正しく高リスクであると特定した。これは、微細なリスク指標を検出する能力を示している。
• ケーススタディでは、臨床医が低リスクと判断した通話者についても、AIの予測が自殺未遂を正しく予測しており、臨床的実用性が明確に示された。
• LLMと人間によるスケールの統合は、予測精度を顕著に向上させ、臨床意思決定支援において相乗効果を示した。
• 本研究は、LLMが臨床的ホットラインから得られる長時間で感情的に複雑なナラティブを効果的に処理できることを確認した。これは、自殺リスクスクリーニングのスケーラブルなソリューションを提供する。

Figure 2 : Process and Details of Generating Methods for Segmentation and Summarization.