[논문 리뷰] PsyEval: A Suite of Mental Health Related Tasks for Evaluating Large Language Models

Haoan Jin, Siyuan Chen외 4명|arXiv (Cornell University)|2023. 11. 15.

Mental Health via Writing인용 수 5

한 줄 요약

PsyEval는 정신건강 지식, 다중질환 탐지, 공감 및 안전 대화의 세 가지 차원에 걸쳐 여섯 개의 하위 작업을 포함하는 종합적인 벤치마크로, 대규모 언어 모델(LM)이 정신건강 분야에서 체계적으로 평가되도록 설계되었다. 이는 GPT-4가 질문-답변 작업에서만 만족스러운 성능을 보이며, 모든 모델이 다중질환 예측, 공감 이해 및 치료 대화의 안전성에서 심각한 성능 격차를 보임을 드러낸다.

ABSTRACT

Evaluating Large Language Models (LLMs) in the mental health domain poses distinct challenged from other domains, given the subtle and highly subjective nature of symptoms that exhibit significant variability among individuals. This paper presents PsyEval, the first comprehensive suite of mental health-related tasks for evaluating LLMs. PsyEval encompasses five sub-tasks that evaluate three critical dimensions of mental health. This comprehensive framework is designed to thoroughly assess the unique challenges and intricacies of mental health-related tasks, making PsyEval a highly specialized and valuable tool for evaluating LLM performance in this domain. We evaluate twelve advanced LLMs using PsyEval. Experiment results not only demonstrate significant room for improvement in current LLMs concerning mental health but also unveil potential directions for future model optimization.

연구 동기 및 목표

• 현재 정신건강 분야의 고유한 과제에 맞는 체계적인 평가 도구가 부족한 바, 대규모 언어 모델(LM)을 정신건강 분야에서 평가하기 위한 종합적인 벤치마크 부족 문제를 해결하기 위해.
• 정신건강의 미묘한 특징, 즉 증상의 암시적 표현, 병태학적 공존, 환자에 대한 공감 능력, 치료 대화에서의 윤리적 안전성 등을 반영한 벤치마크를 설계하기 위해.
• 최신 기술의 LLM이 다양한 정신건강 작업에서 성능을 평가하여 핵심적 한계를 규명하고 향후 모델 개발을 안내하기 위해.
• 모델의 신뢰성과 안전성을 향상시키기 위해 정신건강 전용 언어와 임상 대화 시나리오에 특화된 훈련이 필요함을 강조하기 위해.
• 정신건강 응용 분야의 LLM 개발을 지속적으로 지원할 수 있는 표준화되고 통합적인 평가 프레임워크를 제공하기 위해.

제안 방법

• 정신건강 지식, 다중질환 탐지, 공감 및 안전한 응답 생성의 세 가지 차원에 걸쳐 여섯 개의 하위 작업 설계: (1) 정신건강 질문-답변(QA), (2) 소셜 미디어에서의 다중질환 탐지, (3) 시뮬레이션된 치료 대화에서의 공감 및 안전한 응답 생성.
• 각 하위 작업에 대해 간결하고 작업에 특화된 프롬프트를 제작하며, 답변 전용, 소수 샘플(few-shot), 사고의 사슬(chain-of-thought) 프롬프팅 전략을 포함하여 추론 및 생성 능력을 평가.
• GPT-4, LLaMA, Vicuna 등 최신 기술의 여덟 개의 LLM을 선별하여 모든 하위 작업에 대해 평가하여 현재 모델 아키텍처의 광범위한 커버리지 확보.
• 정확도, F1 점수, 안전성/공감 평가 점수 등 표준화된 평가 지표를 각 작업에 적용하여 신뢰성 있고 비교 가능한 성능 평가 보장.
• 대화 작업에서 공감 및 안전성에 대한 인간이 애너테이션한 평가 기준을 통합하여 임상 및 윤리 기준과의 일치 확보.
• 실험적 분석 및 정성적 분석을 통해 실패 유형과 모델의 한계를 규명하며, 특히 언어적 모호성과 환자 자기 인식과 임상적 현실 간 괴리 문제를 중심으로 분석.

Figure 1: Overview diagram of PsyEval

실험 결과

연구 질문

• RQ1 현존하는 LLM은 정신건강 전용 질문-답변 작업에서 도메인 특화 지식이 요구되는 경우 얼마나 잘 수행되는가?
• RQ2 LLM은 비공식적이고 모호한 소셜 미디어 텍스트에서 다중으로 존재하는 정신건강 장애를 얼마나 정확하게 탐지할 수 있는가?
• RQ3 LLM은 시뮬레이션된 정신건강 상담 대화에서 공감 어울리는 응답과 윤리적으로 안전한 응답을 얼마나 효과적으로 생성할 수 있는가?
• RQ4 LLM이 정신건강 시나리오에서 주로 나타나는 실패 유형은 무엇이며, 특히 공감, 안전성, 증상 해석 측면에서 어떤 한계를 보이는가?
• RQ5 다양한 프롬프팅 전략(예: 소수 샘플, 사고의 사슬)은 정신건강 작업 전반에서 LLM 성능에 어떤 영향을 미치는가?

주요 결과

• GPT-4만 정신건강 질문-답변 작업에서 만족스러운 성능을 달성하여, 다른 LLM들이 도메인 지식 측면에서 심각한 격차를 보임을 시사한다.
• 모든 평가된 모델이 소셜 미디어 게시물에서 다중정신질환을 탐지하는 데 상당한 성능 저하를 보이며, 언어적 모호성과 병태학적 공존을 다루는 데 어려움을 겪고 있음이 드러남.
• 모델들은 일관되게 공감 어울리는 응답 생성에서 성능이 열등하며, 환자 서술에서 감정적 신호를 인식하고 적절히 반응하는 능력이 제한됨.
• 안전성 평가 결과, 모델들이 시뮬레이션된 임상 대화에서 고위험 콘텐츠(예: 자살 생각)를 인식하거나 적절히 대응하지 못하는 경우가 빈번히 발생함.
• 모델이 정신건강 전용 언어에 대해 피나이팅되지 않은 경우 성능 저하가 관찰되어, 임상 및 환자 중심 언어에 특화된 전문화된 사전학습이 필요함을 시사함.
• 연구는 모델들이 자기 인식된 정신건강 상태와 임상 진단 간 괴리 문제를 해결하는 데 어려움을 겪고 있음을 밝혀내며, 환자-치료사 상호작용에서 깊은 심리적 추론의 부족을 시사한다.

Figure 2: Prompt for Mental health Question-Answering