[논문 리뷰] Illuminate: A novel approach for depression detection with explainable analysis and proactive therapy using prompt engineering

Aryan Agrawal|arXiv (Cornell University)|2024. 02. 05.

Mental Health Research TopicsPsychology인용 수 3

한 줄 요약

이 논문은 특화된 프롬프트 엔지니어링을 통해 미세조정된 GPT-4, 라마 2, 지미를 활용한 우울증 탐지 및 능동적 치료를 위한 새로운 LLM 기반 프레임워크인 Illuminate를 제시한다. 소수의 예시를 활용한 프롬프트 전략을 통해 DSM-5 기준에 부합하며, CBT 기반 대화 관리 시스템을 통합하고, 개인화된 간섭을 위한 Illuminate 데이터베이스를 도입하여 F1, 정밀도, 재현율 및 ROUGE 메트릭에서 뛰어난 성능을 달성하였다.

ABSTRACT

This paper introduces a novel paradigm for depression detection and treatment using advanced Large Language Models (LLMs): Generative Pre-trained Transformer 4 (GPT-4), Llama 2 chat, and Gemini. These LLMs are fine-tuned with specialized prompts to diagnose, explain, and suggest therapeutic interventions for depression. A unique few-shot prompting method enhances the models' ability to analyze and explain depressive symptoms based on the DSM-5 criteria. In the interaction phase, the models engage in empathetic dialogue management, drawing from resources like PsychDB and a Cognitive Behavioral Therapy (CBT) Guide, fostering supportive interactions with individuals experiencing major depressive disorders. Additionally, the research introduces the Illuminate Database, enriched with various CBT modules, aiding in personalized therapy recommendations. The study evaluates LLM performance using metrics such as F1 scores, Precision, Recall, Cosine similarity, and Recall-Oriented Understudy for Gisting Evaluation (ROUGE) across different test sets, demonstrating their effectiveness. This comprehensive approach blends cutting-edge AI with established psychological methods, offering new possibilities in mental health care and showcasing the potential of LLMs in revolutionizing depression diagnosis and treatment strategies.

연구 동기 및 목표

• 정신건강 분야에서 조기에 정확하고 설명 가능한 우울증 탐지의 필수적인 필요를 해결한다.
• 심리학적 프레임워크를 활용해 공감적이고 임상적으로 관련성이 있는 대화를 가능하게 하여 기존 AI 모델의 한계를 극복한다.
• CBT 및 DSM-5 기준에 기반한 증거 기반 개인화된 간섭을 제공하는 능동적 치료 시스템을 개발한다.
• 개선된 개인화 및 모델 훈련을 위해 CBT 모듈이 통합된 새로운 애너테이션된 데이터셋인 Illuminate 데이터베이스를 구축한다.
• 프롬프트 엔지니어링이 정신건강 응용 분야에서 LLM의 해석 가능성과 임상적 관련성을 향상시키는 데 효과적인지 입증한다.

제안 방법

• 우울증 진단 및 설명을 위해 특화된 프롬프트를 사용하여 GPT-4, 라마 2, 지미 등의 다수 LLM을 미세조정한다.
• 우울증 증상에 대한 DSM-5 진단 기준에 모델의 일치도를 높이기 위해 소수의 예시를 활용한 프롬프트 전략을 구현한다.
• 정신건강 자원인 PsychDB 및 CBT 가이드를 통합하여 상호작용 단계 동안 공감적이고 치료적인 대화를 가능하게 한다.
• 중증 우울장애를 앓는 개인을 대상으로 실시간으로 맥락 인식이 가능한 반응을 지원하는 동적 대화 관리 시스템을 설계한다.
• 임상 데이터에 구조화된 CBT 모듈을 통합하여 개인화된 치료 권고를 지원하는 Illuminate 데이터베이스를 구축한다.
• F1 점수, 정밀도, 재현율, 코사인 유사도, ROUGE 등 다양한 메트릭을 포함한 다중 메트릭 프레임워크를 사용해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 소수의 예시를 활용한 프롬프트 엔지니어링은 DSM-5 기준에 기반한 우울증 진단에서 LLM의 정확도와 해석 가능성에 크게 기여하는가?
• RQ2 CBT 및 정신건강 자원 통합을 통해 지시된 LLM은 얼마나 공감적이고 임상적으로 관련성이 있는 응답을 생성할 수 있는가?
• RQ3 기본 모델 대비 Illuminate 데이터베이스는 개인화된 증거 기반 치료 권고에 얼마나 효과적인가?
• RQ4 우울증 탐지 및 응답 생성에서 핵심 NLP 메트릭(F1, 정밀도, 재현율, ROUGE)에서 미세조정된 LLM의 성능은 어떠한가?
• RQ5 프롬프트 엔지니어링을 적용한 LLM은 능동적 정신건강 지원에서 임상적 정확성과 사용자 참여도 사이에 균형을 이룰 수 있는가?

주요 결과

• 다양한 테스트 세트에서 LLM은 높은 F1 점수와 정밀도를 기록하여 우울증 증상 탐지에서 강력한 진단 정확도를 보였다.
• ROUGE 점수는 생성된 치료 응답이 높은 관련성과 일관성을 지녔으며, 기준 임상 텍스트와 유사하게 나타났다.
• 코사인 유사도 메트릭은 모델 출력물이 임상 지침 및 정신건강 프레임워크와 의미적으로 일치함을 확인했다.
• 소수의 예시를 활용한 프롬프트 전략은 제로샷 기반 대비 증상 분석에서 모델의 일관성과 해석 가능성 향상에 뚜렷한 기여를 하였다.
• CBT 및 PsychDB 자원 통합은 더 공감적이고 맥락에 부합하는 대화 응답을 이끌어내는 데 기여하였다.
• Illuminate 데이터베이스는 개인화된 치료 권고를 가능하게 하여 효과적이었으며, 모델 출력물은 증거 기반 CBT 실천과 강한 일치를 보였다.