[論文レビュー] Illuminate: A novel approach for depression detection with explainable analysis and proactive therapy using prompt engineering

Aryan Agrawal|arXiv (Cornell University)|Feb 5, 2024

Mental Health Research TopicsPsychology被引用数 3

ひとこと要約

本論文では、微調整された GPT-4、Llama 2、Gemini を用いた、特化したプロンプト工学を駆使した、鬱病の検出および予防的療法を目的とした新規 LLM ベースのフレームワーク、Illuminate を提示する。本フレームワークは、DSM-5 の基準に整合した few-shot プロンプトを採用し、認知行動療法（CBT）に基づく対話管理を統合し、個別化された介入を可能にする Illuminate Database を導入することで、F1 スコア、適合率、再現率、ROUGE スコアの各指標において優れた性能を達成した。

ABSTRACT

This paper introduces a novel paradigm for depression detection and treatment using advanced Large Language Models (LLMs): Generative Pre-trained Transformer 4 (GPT-4), Llama 2 chat, and Gemini. These LLMs are fine-tuned with specialized prompts to diagnose, explain, and suggest therapeutic interventions for depression. A unique few-shot prompting method enhances the models' ability to analyze and explain depressive symptoms based on the DSM-5 criteria. In the interaction phase, the models engage in empathetic dialogue management, drawing from resources like PsychDB and a Cognitive Behavioral Therapy (CBT) Guide, fostering supportive interactions with individuals experiencing major depressive disorders. Additionally, the research introduces the Illuminate Database, enriched with various CBT modules, aiding in personalized therapy recommendations. The study evaluates LLM performance using metrics such as F1 scores, Precision, Recall, Cosine similarity, and Recall-Oriented Understudy for Gisting Evaluation (ROUGE) across different test sets, demonstrating their effectiveness. This comprehensive approach blends cutting-edge AI with established psychological methods, offering new possibilities in mental health care and showcasing the potential of LLMs in revolutionizing depression diagnosis and treatment strategies.

研究の動機と目的

• 精神保健医療における早期で正確かつ説明可能な鬱病検出の重要なニーズに対応する。
• 心理的フレームワークを活用することで、既存の AI モデルの限界を克服し、共感的で臨床的に関連性のある対話を可能にする。
• 認知行動療法（CBT）および DSM-5 の基準に裏付けられた、個別化された、根拠に基づいた介入を提供する予防的療法システムを開発する。
• CBT モジュールを統合した、新たなアノテート済みデータセット「Illuminate Database」を構築する。これにより、個別化とモデルのトレーニングが向上する。
• プロンプト工学が、精神保健分野の応用において LLM の解釈可能性と臨床的関連性を向上させる有効性を実証する。

提案手法

• 鬱病の診断と説明を目的とした、特化したプロンプトを用いて複数の LLM（GPT-4、Llama 2、Gemini）を微調整する。
• DSM-5 の鬱病症状診断基準に適合するように、モデルの整合性を高めるために few-shot プロンプト戦略を実装する。
• PsychDB や CBT ガイドなどの心理的リソースを統合し、対話段階で共感的で治療的である対話が可能になるようにする。
• 主要なうつ病を有する個人に対して、リアルタイムで文脈に応じた応答を提供できる動的対話管理システムを設計する。
• 臨床データに構造的な CBT モジュールを追加することで、個別化された療法推奨を支援する、Illuminate Database を構築する。
• F1 スコア、適合率、再現率、コサイン類似度、ROUGE といった複数指標を用いたフレームワークで、モデルのパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 few-shot プロンプト工学は、DSM-5 の基準に基づく鬱病診断における LLM の正確性と解釈可能性を顕著に向上させることができるか？
• RQ2 CBT および心理的リソース統合の下で、LLM が共感的で臨床的に関連性のある応答をどれほど効果的に生成できるか？
• RQ3 基線モデルと比較して、Illuminate Database は個別化された、根拠に基づいた療法推奨をどれほど効果的に可能にするか？
• RQ4 F1、適合率、再現率、ROUGE といった主要な NLP 指標において、微調整された LLM は鬱病検出および応答生成の分野でどの程度のパフォーマンスを示すか？
• RQ5 プロンプト工学を施した LLM は、予防的メンタルヘルス支援において、臨床的正確性とユーザー参加度のバランスを達成できるか？

主な発見

• LLM は多様なテストセットにおいて高い F1 スコアと適合率を達成し、鬱病症状の検出における高い診断的正確性を示した。
• ROUGE スコアから、生成された治療的応答が非常に関連性が高く、一貫性があり、基準となる臨床テキストに近いことが確認された。
• コサイン類似度指標から、モデルの出力が臨床ガイドラインおよび心理的フレームワークと意味的に整合していることが裏付けられた。
• few-shot プロンプト戦略は、ゼロショットベースラインと比較して、症状分析におけるモデルの一貫性と解釈可能性を顕著に向上させた。
• CBT および PsychDB リソースの統合により、より共感的で文脈に適した対話応答が得られた。
• Illuminate Database は、個別化された療法推奨を実現する上で有効であることが示され、モデル出力は根拠に基づいた CBT の実践と強く整合していた。