[論文レビュー] Detecting Suicide Risk in Online Counseling Services: A Study in a Low-Resource Language

Amir Bialer, Daniel Izmaylov+4 more|arXiv (Cornell University)|Sep 11, 2022

Mental Health via Writing被引用数 4

ひとこと要約

本稿では、ヘブライ語オンラインカウンセリングチャットにおける早期自殺想起検出を目的として、臨床的に検証された自殺サイン語彙を統合した微調整済み事前学習言語モデル、SI-BERTを提案する。アンサンブルモデルは、0.91のROC-AUCと0.55のF2スコアを達成し、強力なベースラインを上回り、会話のわずか20%のテキストでもリスクを早期に検出できる。

ABSTRACT

With the increased awareness of situations of mental crisis and their societal impact, online services providing emergency support are becoming commonplace in many countries. Computational models, trained on discussions between help-seekers and providers, can support suicide prevention by identifying at-risk individuals. However, the lack of domain-specific models, especially in low-resource languages, poses a significant challenge for the automatic detection of suicide risk. We propose a model that combines pre-trained language models (PLM) with a fixed set of manually crafted (and clinically approved) set of suicidal cues, followed by a two-stage fine-tuning process. Our model achieves 0.91 ROC-AUC and an F2-score of 0.55, significantly outperforming an array of strong baselines even early on in the conversation, which is critical for real-time detection in the field. Moreover, the model performs well across genders and age groups.

研究の動機と目的

• ヘブライ語のような低リソースで屈曲が豊富な言語における自殺リスク検出のためのNLPリソースの不足に対処すること。
• リアルタイムのテキストベースのカウンセリングセッションにおいて、自殺想起を早期に検出できる計算モデルを開発すること。
• 専門分野特有の言語的知識（臨床的に承認された語彙による）を文脈的で事前学習された言語モデルと組み合わせ、検出性能を向上させること。
• 異なる性別や年齢層を含む多様なデモグラフィック要因においても堅牢な性能を確保すること。
• カウンセラーがリスクのある個人を迅速かつ正確に特定できる、実装可能なシステムを構築すること。

提案手法

• ドメイン固有のカウンセリングデータを用いてマスク言語モデルタスクで微調整したヘブライ語BERTモデル（AlephBERT）を訓練する。
• 自殺想起に関連するOoV（未知語）トークンを語彙に追加し、カバー範囲を拡大する。
• 手作業で作成され臨床的に承認された自殺サイン語彙を用いて、分類器として別個のロジスティック回帰モデルを訓練する。
• 微調整済みSI-BERTと語彙ベース分類器の予測を統合することでアンサンブルモデルを構築する。
• 二段階の微調整を実施：まずマスクLMタスクで微調整し、その後ドメイン固有のデータを用いて自殺想起分類タスクで微調整する。
• モデルの性能をROC-AUC、F2スコア、およびデモグラフィック要因やテキストの切り詰めレベルごとの分析を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有のカウンセリングデータで微調整された事前学習言語モデルは、低リソース言語において、既存のベースラインと比較して自殺想起をより早期かつ正確に検出できるか？
• RQ2 臨床的に検証された語彙と文脈的言語モデルを組み合わせることで、単独で使用する場合と比較して検出性能がどのように向上するか？
• RQ3 モデルは、性別や年齢などの異なるデモグラフィックグループおよび会話の初期段階において、どの程度性能を維持するか？
• RQ4 否定表現、曖昧な表現、または非想起的コンテンツを処理する際、モデルの行動にどのような定性的な差が生じるか？
• RQ5 ドメイン固有の事前学習と微調整は、標準語彙では捉えきれない、自殺の微妙な表現をモデルがどのように捉える能力に影響を与えるか？

主な発見

• アンサンブルモデルは、ROC-AUCが0.91、F2スコアが0.55を達成し、W2V、フィードフォワードネットワーク、ヘブライ語心理的語彙といった強力なベースラインを著しく上回った。
• ヘルプセーカーの発言の最初の20%のみを処理しても、ROC-AUCが82%に達したため、優れた早期検出能力を示した。
• 異なる性別や年齢層において一貫した性能を維持しており、デモグラフィック要因の変動に対しても堅牢であることが示された。
• SI-BERTモデルは、睡眠薬と悪い考えに関する非想起的発話（「I took sleeping pills and had bad thoughts」）を正しくネガティブと分類したが、標準的な微調整済みBERTモデルはこれをポジティブと誤分類した。これは、ドメイン特化した微調整の利点を示している。
• モデルは「人生が私に耐えられないと感じている」といった自殺想起の典型的な例を正しく検出するとともに、「死にたいとは思わない」といった否定文を正しく拒否した。これは、臨床的観点から見ると、想起と意思の違いを適切に区別していることを示している。
• 手作業で作成した語彙は高い精度を示したが、再現率とAUCはやや低く、文脈モデルが微妙な自殺リスク表現を捉えるために不可欠であることが示された。