[논문 리뷰] PATIENT-Ψ: Using Large Language Models to Simulate Patients for Training Mental Health Professionals

Ruiyi Wang, Stephanie Milani외 10명|arXiv (Cornell University)|2024. 05. 30.

Digital Mental Health Interventions인용 수 5

한 줄 요약

PATIENT-Ψ는 CBT 인지 모델과 LLM을 결합해 환자 상호작용을 시뮬레이션하고, 훈련용으로 인지 모델 구성을 연습하는 인터랙티브 트레이너를 도입합니다.

ABSTRACT

Mental illness remains one of the most critical public health issues. Despite its importance, many mental health professionals highlight a disconnect between their training and actual real-world patient practice. To help bridge this gap, we propose PATIENT-Ψ, a novel patient simulation framework for cognitive behavior therapy (CBT) training. To build PATIENT-Ψ, we construct diverse patient cognitive models based on CBT principles and use large language models (LLMs) programmed with these cognitive models to act as a simulated therapy patient. We propose an interactive training scheme, PATIENT-Ψ-TRAINER, for mental health trainees to practice a key skill in CBT -- formulating the cognitive model of the patient -- through role-playing a therapy session with PATIENT-Ψ. To evaluate PATIENT-Ψ, we conducted a comprehensive user study of 13 mental health trainees and 20 experts. The results demonstrate that practice using PATIENT-Ψ-TRAINER enhances the perceived skill acquisition and confidence of the trainees beyond existing forms of training such as textbooks, videos, and role-play with non-patients. Based on the experts' perceptions, PATIENT-Ψ is perceived to be closer to real patient interactions than GPT-4, and PATIENT-Ψ-TRAINER holds strong promise to improve trainee competencies. Our code and data are released at \url{https://github.com/ruiyiw/patient-psi}.

연구 동기 및 목표

• 정신건강 관리에서 훈련과 실제 환자 상호작용 간의 격차를 해소한다.
• 우울증/불안 환자의 전문가 검증된 다양한 인지 모델(CCD)을 만든다.
• CCD를 LLM과 통합하여 진짜 같은 시뮬레이션 환자 행동을 생성한다.
• 학습자가 환자의 인지 모델을 공식화하고 피드백을 받을 수 있는 인터랙티브 트레이너를 제공한다.

제안 방법

• 핵심 신념, 자동사고, 감정 및 행동을 나타내도록 CBT 이론과 전문가 입력으로 CCD를 개발한다.
• 일곱 정의된 관계 양식 중 여섯 가지를 포함한 환자 인지 모델로 LLM을 프로그래밍하여 환자 대화를 시뮬레이션한다.
• CCD와 스타일 지시로 조건화하여 CBT 기반 롤플레이를 수행하는 Patient-Ψ를 만든다.
• 학습자가 모델 구성 연습하고 참조 CCD와 비교할 수 있는 웹 기반 인터랙티브 도구로서 Patient-Ψ-Trainer를 설계한다.
• 전문가 및 수련생 사용자 연구를 통해 정확도와 훈련 효과를 평가하여 Patient-Ψ-Trainer를 GPT-4 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 CCD 정보에 따른 LLM이 다양한 관계 양식에서 실제 환자 커뮤니케이션을 얼마나 충실하게 시뮬레이션할 수 있는가?
• RQ2 Patient-Ψ-Trainer로 훈련하면 CBT 구성 기술, 인식된 역량 및 자신감이 기준 방법보다 더 향상되는가?
• RQ3 전문가 및 수련생이 기존 CBT 훈련 기법보다 Patient-Ψ-Trainer를 선호하는가?
• RQ4 새로운 AI 기반 환자 시뮬레이션 도구의 유용성 인식 및 채택에 영향을 주는 요인은 무엇인가?
• RQ5 이 프레임워크가 CBT를 넘는 다른 정신건강 훈련 패러다임에도 일반화될 수 있는가?

주요 결과

• 전문가들은 증상, 인지, 감정 및 관계 양식에서 GPT-4보다 Patient-Ψ가 실제 환자에 더 충실하다고 평가했다(중앙값 4.0–4.5).
• 전문가들은 CBT 구성 기술 향상과 신념 및 비적응적 사고 식별에서 Patient-Ψ-Trainer를 높이 평가했다(중앙값 최대 5.0).
• 전문가들은 전반적인 CBT 기술 및 교실 수용에서 GPT-4 기준선보다 Patient-Ψ-Trainer를 선호했다(수용 중앙값 5.0).
• 수련생들은 Patient-Ψ-Trainer에 대한 선호가 더 강했고(중앙값 4.5), 기준 방법보다 기술 및 자신감 향상을 더 크게 보고했다.
• CCD 정확성의 차원에 걸쳐, 시뮬레이션 환자의 약 75%가 전반적으로 매우 정확 또는 극도로 정확했다; 특정 차원에서 75–90%가 매우 정확하거나 극도로 정확했다.