[논문 리뷰] Psy-LLM: Scaling up Global Mental Health Psychological Services with AI-based Large Language Models

Tin Lai, Yukun Shi외 5명|arXiv (Cornell University)|2023. 07. 22.

Mental Health via Writing인용 수 34

한 줄 요약

Psy-LLM은 전문가 Q&A와 크롤링된 심리학 데이터를 미세조정하여 PanGu와 WenZhong을 활용한 온라인 심리상담용 AI 기반 프런트엔드를 제안하고, 당혹도(perplexity)와 인간 평가로 평가되어 임상의 지원 및 긴급 사례 선별에 기여합니다.

ABSTRACT

The demand for psychological counselling has grown significantly in recent years, particularly with the global outbreak of COVID-19, which has heightened the need for timely and professional mental health support. Online psychological counselling has emerged as the predominant mode of providing services in response to this demand. In this study, we propose the Psy-LLM framework, an AI-based assistive tool leveraging Large Language Models (LLMs) for question-answering in psychological consultation settings to ease the demand for mental health professions. Our framework combines pre-trained LLMs with real-world professional Q\&A from psychologists and extensively crawled psychological articles. The Psy-LLM framework serves as a front-end tool for healthcare professionals, allowing them to provide immediate responses and mindfulness activities to alleviate patient stress. Additionally, it functions as a screening tool to identify urgent cases requiring further assistance. We evaluated the framework using intrinsic metrics, such as perplexity, and extrinsic evaluation metrics, with human participant assessments of response helpfulness, fluency, relevance, and logic. The results demonstrate the effectiveness of the Psy-LLM framework in generating coherent and relevant answers to psychological questions. This article discusses the potential and limitations of using large language models to enhance mental health support through AI technologies.

연구 동기 및 목표

• 라이선스가 있는 정신건강 전문가의 부족 문제를 AI 지원 온라인 심리상담으로 해결한다.
• 전문가를 위한 즉시 응답 및 마음챙김 활동 제공을 위한 프런트라인 도구를 개발하고, 긴급 사례를 선별한다.
• 사전 학습된 중국어 LLM과 도메인별 Q&A 데이터를 결합하여 상담 품질과 접근성을 향상시킨다.
• Intrinsic(Perplexity) 및 extrinsic(Human ratings) 지표와 실전 배치 피드백으로 프레임워크를 평가한다.

제안 방법

• 기반으로 PanGu 및 WenZhong 대규모 사전 학습 중국어 언어모델을 활용한다.
• PsyQA(22,000 questions and 56,000 answers) 및 광범위한 크롤링 중국 심리학 기사를 미세조정한다.
• 중복 제거, 광고, 짧은 샘플, URL, 사용자 이름, 구두점 정규화 등을 제거하여 고품질 학습 말뭉치를 수집·정리한다.
• PanGu 350M을 2.85GB 심리학 코퍼스에서 학습하고 PsyQA 데이터를 활용하여 미세조정한다; 수렴을 위해 100,000 회 반복을 사용한다.
• WenZhong-110M을 추가 미세조정에 통합하고 데이터 처리(토큰화, 최대 시퀀스 길이)에 모델 요구에 맞게 적용한다.
• Perplexity 기반 데이터 품질 평가와 전문가 심리학자의 평가를 통해 데이터 정제 및 모델 학습을 안내한다; 사용자 피드백과 반복 개선을 위한 전용 웹사이트를 배포한다.

실험 결과

연구 질문

• RQ1 Psy-LLM은 온라인 상담 맥락에서 일관되고 관련성 높은 전문적 심리응답을 얼마나 효과적으로 생성할 수 있는가?
• RQ2 높은 수요 기간 동안 인간 카운슬러의 업무를 경감하고 긴급 사례 선별을 돕는 데 Psy-LLM이 어떤 보조를 제공할 수 있는가?
• RQ3 중국어로 된 심리학 중심 QA에 대한 기본 모델로 PanGu와 WenZhong의 상대적 영향력은 어느 정도인가?
• RQ4 AI 보조 응답이 있는 웹 기반 프런트엔드가 접근성을 개선하고 정신건강 지원에 대한 낙인을 감소시키는가?

주요 결과

• 서버에 배치될 때 프레임워크가 수 초 이내에 사용자에게 응답을 생성할 수 있다.
• PsyQA와 크롤링된 중국 심리학 데이터를 결합한 데이터 파이프라인은 PanGu 350M 및 WenZhong-110M의 미세조정을 위해 학습 말뭉치를 제공한다.
• Perplexity 기반 데이터 품질 평가와 전문가 심리학자의 검토를 결합하여 데이터 정제와 모델 학습을 안내했다.
• 데이터 세트는 약 40만 샘플로 구성되며 대부분의 데이터가 Tianya에서 유래(약 2GB), Zhihu 및 Yixinli 기여가 포함되어 도메인 관련 콘텐츠를 반영한다.
• 이 접근 방식은 임상 지원(보조 도구) 및 인간 카운슬러가 이용 불가능한 시기에 환자 facing 온라인 상담을 목표로 한다.
• 본 연구는 정신 건강 지원에 대형 언어 모델을 적용하는 잠재적 이점과 한계, 윤리 및 신뢰성 고려사항을 논의한다.