[論文レビュー] Suicide Phenotyping from Clinical Notes in Safety-Net Psychiatric Hospital Using Multi-Label Classification with Pre-Trained Language Models

Zehan Li, Yan Hu+8 more|PubMed|Sep 27, 2024

Suicide and Self-Harm StudiesPsychology参考文献 18被引用数 3

ひとこと要約

本研究では、セーフティネット精神科病院の臨床ノートを用いて、BERTベースのモデルを用いたマルチラベル自殺行動型特徴化システムを開発した。単一のマルチラベル分類で微調整したRoBERTaが最高のパフォーマンスを示し（正解率：0.88、F1スコア：0.81）、ドメイン特化型の事前学習とマルチラベル戦略が、自殺想起、自殺未遂、自殺への暴露、非自殺的自己傷害といった共起する自殺行動の検出を顕著に向上させることを示した。

ABSTRACT

Accurate identification and categorization of suicidal events can yield better suicide precautions, reducing operational burden, and improving care quality in high-acuity psychiatric settings. Pre-trained language models offer promise for identifying suicidality from unstructured clinical narratives. We evaluated the performance of four BERT-based models using two fine-tuning strategies (multiple single-label and single multi-label) for detecting coexisting suicidal events from 500 annotated psychiatric evaluation notes. The notes were labeled for suicidal ideation (SI), suicide attempts (SA), exposure to suicide (ES), and non-suicidal self-injury (NSSI). RoBERTa outperformed other models using binary relevance (acc=0.86, F1=0.78). MentalBERT (F1=0.74) also exceeded BioClinicalBERT (F1=0.72). RoBERTa fine-tuned with a single multi-label classifier further improved performance (acc=0.88, F1=0.81), highlighting that models pre-trained on domain-relevant data and the single multi-label classification strategy enhance efficiency and performance.

研究の動機と目的

• 未構造化臨床ノートからの自殺行動抽出を通じて、高コモーディティ精神科環境における自殺リスク検出を向上させること。
• 共起する自殺行動型特徴化（自殺想起（SI）、自殺未遂（SA）、自殺への暴露（ES）、非自殺的自己傷害（NSSI））を同定するための事前学習言語モデルの有効性を評価すること。
• 臨床的ナラティブを用いた自殺行動型特徴化において、複数の単一ラベル vs. 単一マルチラベルの微調整戦略を比較すること。
• モデルアーキテクチャとドメイン特化型事前学習の、特徴化パフォーマンスに与える影響を評価すること。
• 自動的かつ正確な自殺リスク特徴化を通じて、臨床意思決定を支援し、運用負担を軽減すること。

提案手法

• 500件のアノテート済み精神科評価ノートを用いて、4つのBERTベースのモデル（BERT、BioClinicalBERT、MentalBERT、RoBERTa）を微調整した。
• 2つの微調整戦略を適用した：複数の単一ラベル分類（各自殺行動タイプごとに1つのモデル）と、単一マルチラベル分類（1つのモデルが4つのラベルを同時に予測）。
• 精神科状況に適したドメイン関連の臨床ノートを用いて、モデルの精神保健分野への一般化能力を向上させた。
• 全4つの自殺行動タイプにおいて、標準的なNLP指標（正解率とF1スコア）を用いて評価した。
• トランスフォーマー基盤アーキテクチャにおけるハイパーパramータチューニングとアテンション機構の活用を通じて、モデルパフォーマンスを最適化した。
• 低リソースで高リスクな自殺行動型特徴化分野に適応するため、トランスファー学習を活用した。

実験結果

リサーチクエスチョン

• RQ1 事前学習言語モデルは、精神科入院環境における未構造化臨床ノートから、複数の共起する自殺行動を効果的に検出できるか？
• RQ2 モデルアーキテクチャの選択（例：RoBERTa対BERT）が、自殺行動型特徴化タスクのパフォーマンスに与える影響は何か？
• RQ3 多様な自殺行動型特徴化を検出する際、単一マルチラベル分類が複数単一ラベル分類を上回るか？
• RQ4 一般ドメインモデルと比較して、ドメイン特化型事前学習はどの程度自殺行動型特徴化パフォーマンスを向上させるか？
• RQ5 異なる微調整戦略は、自殺行動検出の正解率とF1スコアにどのように影響するか？

主な発見

• RoBERTaは単一マルチラベル分類戦略を用いて、正解率0.88、F1スコア0.81という最高のパフォーマンスを達成した。
• 複数単一ラベル設定においても、RoBERTaは他のモデルを上回り、正解率0.86、F1スコア0.78を達成した。
• MentalBERTは優れたパフォーマンスを示し（正解率0.83、F1スコア0.74）、BioClinicalBERT（正解率0.82、F1スコア0.72）を上回った。
• BioClinicalBERTはベースのBERTモデル（正解率0.80、F1スコア0.70）を上回り、ドメイン特化型事前学習の利点を示した。
• 単一マルチラベル微調整戦略は、複数単一ラベル戦略を上回るパフォーマンスを示し、ラベル間相関関係の学習がより効果的であることを示唆した。
• モデル最適化、ドメイン関連の事前学習、マルチラベル微調整が、合計で自殺行動型特徴化パフォーマンスを向上させた。