[논문 리뷰] Toward Large Language Models as a Therapeutic Tool: Comparing Prompting Techniques to Improve GPT-Delivered Problem-Solving Therapy

Daniil Filienko, Yinzhou Wang외 5명|PubMed|2024. 08. 27.

Artificial Intelligence in Healthcare and EducationMedicine참고 문헌 1인용 수 3

한 줄 요약

이 연구는 GPT-4가 가정 간병인을 대상으로 문제 해결 치료(PST)를 제공하는 데에 있어 프롬프트 엔지니어링 기법을 평가한다. 적은 수의 예시를 활용한 컨텍스트 내 학습과 체인 오브 씽크 프롬프팅을 적용하였다. 연구 결과, 소수의 예시를 사용한 프롬프팅이 증상 식별과 목표 설정 능력을 크게 향상시키는 것으로 나타났으며, 체인 오브 씽크 프롬프팅은 공감 능력을 향상시켰지만 작업 정확도를 떨어뜨렸다. 이는 프롬프트 설계가 대규모 언어 모델의 치료 대화 성능에 결정적인 영향을 미친다는 것을 보여준다.

ABSTRACT

While Large Language Models (LLMs) are being quickly adapted to many domains, including healthcare, their strengths and pitfalls remain under-explored. In our study, we examine the effects of prompt engineering to guide Large Language Models (LLMs) in delivering parts of a Problem-Solving Therapy (PST) session via text, particularly during the symptom identification and assessment phase for personalized goal setting. We present evaluation results of the models' performances by automatic metrics and experienced medical professionals. We demonstrate that the models' capability to deliver protocolized therapy can be improved with the proper use of prompt engineering methods, albeit with limitations. To our knowledge, this study is among the first to assess the effects of various prompting techniques in enhancing a generalist model's ability to deliver psychotherapy, focusing on overall quality, consistency, and empathy. Exploring LLMs' potential in delivering psychotherapy holds promise with the current shortage of mental health professionals amid significant needs, enhancing the potential utility of AI-based and AI-enhanced care services.

연구 동기 및 목표

• 피드백 조정 없이도 일반 목적의 대규모 언어 모델이 표준화된 문제 해결 치료(PST)를 제공할 수 있도록 프롬프트 엔지니어링이 기여하는지를 평가하는 것.
• 제로샷, 소수의 예시, 체인 오브 씽크 등 다양한 프롬프팅 기법이 대규모 언어 모델이 생성한 PST 대화의 품질, 일관성, 공감 능력에 미치는 영향을 평가하는 것.
• 전문가 평가와 자동화된 메트릭을 활용해 모델이 생성한 대화를 인간 치료사 기준과 비교하는 것.
• 의료 제공자 부족 문제를 해결하기 위해 상용 대규모 언어 모델을 정신건강 치료 도구로 활용할 수 있는지의 가능성 탐색.
• 대규모 언어 모델 기반 정신건강 상담에서 치료 품질, 작업 정확도, 공감 반응성 간의 균형을 가장 잘 달성하는 프롬프팅 전략을 규명하는 것.

제안 방법

• 의료 질문-답변를 위한 기존 대규모 언어 모델 파이프라인을 수정하여, 증상 식별과 목표 설정에 중점을 둔 PST 대화 생성에 활용.
• 소수의 예시를 통한 컨텍스트 내 학습을 적용하여, 모델이 응답 스타일과 구조를 안내하는 예시 대화를 제공.
• 체인 오브 씽크(CoT) 프롬프팅을 적용하여 단계적 사고를 유도함으로써 공감 능력 향상과 탐색 능력 향상을 기대.
• 표준화된 환자 역할 연기자(standardized patient actors)를 활용해 일관되고 인물 기반의 상호작용을 시뮬레이션하여 평가 조건의 재현 가능성을 확보.
• 이중 평가 방식을 시행: 구조적 일관성과 논리적 흐름을 평가하기 위한 자동화된 메트릭과 전문가 평가를 통한 공감, 품질, 일관성 평가.
• 규칙 기반 챗봇 기준과 비교하여, 이는 증거 기반 치료 기법 대신 일반적인 공감 표현을 사용함.

실험 결과

연구 질문

• RQ1 제로샷, 소수의 예시, 체인 오브 씽크 프롬프팅 등 다양한 프롬프팅 기법이 대규모 언어 모델이 생성한 문제 해결 치료(PST) 대화의 품질과 일관성에 어떤 영향을 미치는가?
• RQ2 소수의 예시 프롬프팅이 PST 세션 중 증상 식별과 목표 설정 정확도 향상에 얼마나 기여하는가?
• RQ3 체인 오브 씽크 프롬프팅이 대규모 언어 모델의 응답에서 공감 능력을 향상시키는가? 만약 그렇다면, 그에 따른 작업 중심 성능 저하 비용은 무엇인가?
• RQ4 통제된 전문가 평가 환경에서 대규모 언어 모델의 성능은 인간 치료사 기준과 비교해 어떻게 평가되는가?
• RQ5 모델 피드백 조정 없이도 표준화된 환자 중심 정신건강 상담을 제공할 수 있도록 프롬프트 엔지니어링의 한계는 무엇인가?

주요 결과

• 소수의 예시 프롬프팅은 제로샷 프롬프팅 대비 대규모 언어 모델의 증상 식별 및 목표 설정 능력 향상에 뚜렷한 영향을 미쳤다.
• 체인 오브 씽크 프롬프팅은 특히 치료의 탐색 단계에서 공감 능력 향상을 유도했지만, 증상 식별 및 목표 설정 정확도는 감소시켰다.
• 전문가 평가에서 대규모 언어 모델이 생성한 대화는 인간이 만든 기준 대화보다 전체 품질 평가에서 높은 점수를 받았다. 이는 인간 기준 대화가 증거 기반 기법 대신 일반적인 공감 표현을 사용했기 때문이다.
• 개선이 있었음에도 불구하고, 모델은 암묵적인 치료 원칙(예: 너무 낙관적이거나 일반적인 응답보다는 실행 가능한 조언을 우선시하는 것)을 여전히 잘 따르지 못했다.
• 결과적으로, 프롬프트 엔지니어링을 통해 대규모 언어 모델의 치료 적용 가능성을 높일 수 있음을 시사하지만, 공감 능력과 작업 정확도 사이의 상충 관계는 주의 깊은 설계가 필요하다.
• 본 연구는 프롬프트 엔지니어링이 적절히 보호되지 않을 경우 대규모 언어 모델이 비밀 정보를 그대로 반복할 위험을 드러내며, 향후 연구에서는 개인정보 보호 기반 피드백 조정과 검색 기반 증강 생성 기법이 필수적임을 강조한다.