[論文レビュー] Large Language Models in Mental Health Care: a Scoping Review

Yining Hua, Fenglin Liu+10 more|arXiv (Cornell University)|Jan 1, 2024

Mental Health via Writing被引用数 33

ひとこと要約

このスコーピングレビューは、精神保健ケアにおける大規模言語モデルに関する34件の研究を分析し、応用、データセット、訓練方法、倫理、検証のギャップを整理します。

ABSTRACT

Objectieve:This review aims to deliver a comprehensive analysis of Large Language Models (LLMs) utilization in mental health care, evaluating their effectiveness, identifying challenges, and exploring their potential for future application. Materials and Methods: A systematic search was performed across multiple databases including PubMed, Web of Science, Google Scholar, arXiv, medRxiv, and PsyArXiv in November 2023. The review includes all types of original research, regardless of peer-review status, published or disseminated between October 1, 2019, and December 2, 2023. Studies were included without language restrictions if they employed LLMs developed after T5 and directly investigated research questions within mental health care settings. Results: Out of an initial 313 articles, 34 were selected based on their relevance to LLMs applications in mental health care and the rigor of their reported outcomes. The review identified various LLMs applications in mental health care, including diagnostics, therapy, and enhancing patient engagement. Key challenges highlighted were related to data availability and reliability, the nuanced handling of mental states, and effective evaluation methods. While LLMs showed promise in improving accuracy and accessibility, significant gaps in clinical applicability and ethical considerations were noted. Conclusion: LLMs hold substantial promise for enhancing mental health care. For their full potential to be realized, emphasis must be placed on developing robust datasets, development and evaluation frameworks, ethical guidelines, and interdisciplinary collaborations to address current limitations.

研究の動機と目的

• データセットの種類、モデル、訓練技術と、それらが精神保健タスクに適しているかを調査する。
• LLMsによって可能になる精神保健領域の応用を特徴づける（診断、治療、関与、スクリーニング、教育）。
• 検証手法、性能指標、評価実践を特定する。
• 精神保健ケアでのLLM導入における倫理・プライバシー・安全性・規制の課題を検討する。
• 現在のツールと臨床実用性のギャップを強調し、今後の研究の指針とする。

提案手法

• スコーピングレビューのPRISMA 2020ガイドラインに準拠。
• PubMed、Web of Science、Google Scholar、arXiv、medRxiv、PsyArXiv を対象に2023年11月に実施した包括的検索。
• 最初に313件の公表を特定; スクリーニング後に34件が包含基準を満たす。
• タイトル/要約のスクリーニングを副審査員としてGPT-4が補助し、人間審査員と対するコーエンのカッパは約0.90。
• 公表物をデータセット/ベンチマーク、モデル開発/ファインチューニング、応用/評価、倫理/安全のカテゴリに分類。
• プロンプトベースとファインチューニングLLMの区別；指示調整（IFT）とプロンプトチューニング戦略を重視。）

Figure 1: Screening prompt for ChatGPT-4.

実験結果

リサーチクエスチョン

• RQ1 LLMsを用いた精神保健タスクにはどのデータセットとモデルが使用されているか？
• RQ2 LLMsが対象とする精神保健の応用は何で、どのように検証されているか？
• RQ3 精神保健ケアにおけるLLMsの倫理・プライバシー・安全性・ガバナンス上の考慮点は何か？
• RQ4 現在のLLMツールと臨床実用性の間にどのギャップが存在し、それを埋めるには何が必要か？

主な発見

• LLMsは患者と臨床医の双方向けの対話型エージェント、共感的対話、スクリーニング、支援ツールに適用されている。
• ほとんどの研究は2022–2023年の公表を用い、プロンプト調整と応用志向の研究が急増している一方、データセット/ベンチマーク論文は少ない。
• データセットは主にソーシャルメディアから採取され、臨床医生成対話や合成データもある；ライセンスは非商用が多い。
• 評価はF1、精度、再現率、適合率など自動化指標に大きく依存しており、標準化された臨床検証は限定的。
• 倫理・プライバシー・安全性の懸念は十分に検討されておらず、堅牢なデータ統治と学際的協力の必要性を示している。
• 総じて、LLMsは診断と患者サポートの潜在能力を示すが、臨床実用性と倫理的統合にはさらなる発展が必要。

Figure 2: Submission/Publication time and types distribution of studies concerning LLMs and mental health care.