[논문 리뷰] CBT-LLM: A Chinese Large Language Model for Cognitive Behavioral Therapy-based Mental Health Question Answering

Hongbin Na|arXiv (Cornell University)|2024. 03. 24.

Mental Health via Writing인용 수 6

한 줄 요약

CBT-LLM은 CBT 중심 데이터셋을 프롬프트를 통해 생성하여 중국어 LLM을 미세조정함으로써, 기초 모델 대비 구조화되고 CBT에 정렬된 정신건강 Q&A 성능을 달성한다.

ABSTRACT

The recent advancements in artificial intelligence highlight the potential of language models in psychological health support. While models trained on data from mental health service platform have achieved preliminary success, challenges persist in areas such as data scarcity, quality, and ensuring a solid foundation in psychological techniques. To address these challenges, this study introduces a novel approach to enhance the precision and efficacy of psychological support through large language models. Specifically, we design a specific prompt derived from principles of Cognitive Behavioral Therapy (CBT) and have generated the CBT QA dataset, specifically for Chinese psychological health Q&A based on CBT structured intervention strategies. Unlike previous methods, our dataset emphasizes professional and structured response. Utilizing this dataset, we fine-tuned the large language model, giving birth to CBT-LLM, the large-scale language model specifically designed for Cognitive Behavioral Therapy techniques. Empirical evaluations demonstrate that CBT-LLM excels in generating structured, professional, and highly relevant responses in psychological health support tasks, showcasing its practicality and quality. The model is available on Hugging Face: https://huggingface.co/Hongbin37/CBT-LLM.

연구 동기 및 목표

• CBT-specific 프롬프트 및 CBT QA 데이터셋을 중국어 정신건강 대화를 위해 설계한다.
• 지시 학습과 LoRA를 활용해 CBT Q&A 작업에 필요한 대규모 언어 모델을 미세조정한다.
• 자동 지표와 인간 평가를 사용해 모델을 베이스라인과 비교 평가한다.

제안 방법

• CBT 프롬프트와 ChatGPT를 사용해 PsyQA 질문에 대한 CBT 지향 응답을 생성하여 CBT QA 데이터셋을 형성한다.
• CBT QA 데이터셋을 사용해 지시 학습 및 Low-Rank Adaptation (LoRA)으로 Transformer-Decoder LLM을 미세조정한다.
• 3에폭 일정으로 교차 엔트로피 손실로 학습하며, 16-bit 정밀도와 코사인 학습률 스케줄을 사용한다.

실험 결과

연구 질문

• RQ1 CBT 중심 프롬프트와 데이터셋이 LLM이 생성하는 중국어 정신건강 Q&A의 CBT 구조, 관련성 및 유용성을 향상시킬 수 있는가?
• RQ2 CBT-LLM이 자동 평가 및 인간 평가에서 CBT 지향 응답에 대해 중국어 가능 베이스라인과 어떻게 비교되는가?
• RQ3 CBT 왜곡 인식의 품질은 어떠하며 CBT 프롬프트가 CBT 일관성 있는 출력 생성을 얼마나 신뢰할 수 있는가?

주요 결과

• CBT-LLM은 CBT QA 작업에서 기초 모델들보다 자동 지표 점수가 높게 나타난다 (Baichuan-7B, Alpaca-Chinese-7B, LLaMA-Chinese-7B, Qwen-7B).
• 인간 평가에서 CBT 맥 context에서 Baichuan-7B가 가장 높은 관련성, 구조 준수 및 유용성을 달성한 것으로 나타났다.
• CBT 프롬프트는 500샘플의 정신과 의사 주석 하위집합에서 0.69 정확도, 0.93 재현율, 0.65 F1로인지 왜곡을 식별할 수 있다.
• CBT-LLM 출력은 구조화되어 있고 전문적이며 CBT 기반 심리적 지원에서 사용자 요구에 매우 관련성이 높은 것으로 묘사된다.