[논문 리뷰] Empowering Psychotherapy with Large Language Models: Cognitive Distortion Detection through Diagnosis of Thought Prompting

Zhiyu Chen, Yujie Lu외 1명|arXiv (Cornell University)|2023. 10. 11.

Machine Learning in Healthcare인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 활용하여 환자의 언어에서 인지 왜곡을 탐지하는 프롬프팅 프레임워크인 사고 진단(DoT)을 소개한다. DoT는 세 단계로 구성되며, 주관성 평가, 대조적 추론, 스키마 분석이다. DoT는 왜곡 탐지에서 10% 이상의 상대적 향상을 달성하고, 전문가가 승인한 고품질의 추론 과정을 생성하여, LLM이 해석 가능성과 임상적 관련성을 갖춰 전문 정신치료를 지원할 잠재력을 보여준다.

ABSTRACT

Mental illness remains one of the most critical public health issues of our time, due to the severe scarcity and accessibility limit of professionals. Psychotherapy requires high-level expertise to conduct deep, complex reasoning and analysis on the cognition modeling of the patients. In the era of Large Language Models, we believe it is the right time to develop AI assistance for computational psychotherapy. We study the task of cognitive distortion detection and propose the Diagnosis of Thought (DoT) prompting. DoT performs diagnosis on the patient's speech via three stages: subjectivity assessment to separate the facts and the thoughts; contrastive reasoning to elicit the reasoning processes supporting and contradicting the thoughts; and schema analysis to summarize the cognition schemas. The generated diagnosis rationales through the three stages are essential for assisting the professionals. Experiments demonstrate that DoT obtains significant improvements over ChatGPT for cognitive distortion detection, while generating high-quality rationales approved by human experts.

연구 동기 및 목표

• 컴퓨터 기반 정신치료를 위한 AI 보조 도구를 개발하여 정신건강 전문가의 부족을 해결하고자 한다.
• 인지행동치료(CBT)에서 핵심적인 요소인 인지 왜곡의 자동 탐지 능력을 향상시키고, 히وري스틱 감성 분석을 넘어서고자 한다.
• 임상적 추론을 모방하는 구조적이고 해석 가능한 프롬프팅 프레임워크를 설계하고자 한다.
• 임상적 의사결정 지원에 기여할 수 있는 고품질의 전문가 검증 추론 과정을 생성하고자 한다.
• 정신건강 분야에 안전하고 윤리적이며 전문적인 AI 통합의 기반을 마련하고자 한다.

제안 방법

• 주관성 평가: 환자의 언어에서 객관적 사실과 주관적 생각을 구분한다.
• 대조적 추론: 환자의 생각을 지지하는 근거와 반대되는 근거의 추론 체인을 유도하여 그 타당성을 평가한다.
• 스키마 분석: 환자의 생각 패턴을 알려진 인지 왜곡 유형(예: 개인화, 마음 읽기 등)에 매핑한다.
• DoT 프롬프팅: 이 세 단계를 사고의 연쇄적 프롬프팅을 통해 순서화하여 종합적인 진단 추론 과정을 생성한다.
• 피팅 튜닝 없이도 최신 LLMs(GPT-4, ChatGPT 등)를 제로샷 설정에서 활용하여 진단을 수행한다.
• 업워크(UpWork)의 인간 전문가(면허를 가진 임상의사 및 상담심리학 박사 과정 학생)를 통해 출력 결과를 검증한다.

실험 결과

연구 질문

• RQ1 LLM은 임상적 관련성과 해석 가능성을 갖춘 상태에서 환자의 언어에서 인지 왜곡을 효과적으로 탐지할 수 있는가?
• RQ2 DoT 프롬프팅 프레임워크는 기본 LLM 성능에 비해 인지 왜곡 탐지에서 어떤 개선을 이룬다?
• RQ3 DoT에서 생성된 추론 과정은 정신건강 전문가에 의해 고품질로 평가될 수 있는가?
• RQ4 세 단계로 구성된 DoT 프로세스(주관성, 대조적 추론, 스키마 분석)는 진단 추론 능력을 어느 정도 향상시키는가?
• RQ5 정신치료 보조를 위한 LLM 배포 시 윤리적 고려사항과 안전성은 무엇인가?

주요 결과

• DoT는 제로샷 설정에서 ChatGPT에 비해 인지 왜곡 평가에서 10% 이상의 상대적 향상을 달성한다.
• DoT는 제로샷 설정에서 ChatGPT에 비해 인지 왜곡 분류에서 15% 이상의 상대적 향상을 달성한다.
• 인간 전문가들은 DoT가 생성한 추론 과정을 고품질로 평가하였으며, 임상적 추론 기준과 강한 일치를 보였다.
• 세 단계로 구성된 DoT 프레임워크는 LLM이 생성한 진단의 완전한 해석 가능성을 보장하여 임상적 신뢰와 투명성에 핵심적이다.
• 이 연구는 LLM이 인지치료에서 정신건강 전문가를 대체하기보다는 지원할 잠재력을 보여준다.
• 이 작업는 정신건강 응용 분야에 AI를 배포할 때 윤리적 지침과 전문가 감독의 필요성을 강조한다.