[논문 리뷰] Do Large Language Models Align with Core Mental Health Counseling Competencies?

Viet Cuong Nguyen, Mohammad Taher외 9명|arXiv (Cornell University)|2024. 10. 29.

Counseling Practices and SupervisionPsychology인용 수 3

한 줄 요약

이 논문은 NCMHCE에서 유도된 정신건강 상담 역량의 核심 요소를 평가하는 벤치마크인 CounselingBench를 소개한다. 22개의 대규모 언어 모델(LLM)이 평가되었으며, 정신건강 상담의 핵심 역량을 점검한다. 최신 기술의 LLM들은 접수, 평가, 진단 분야에서 최소한의 능력을 초월하지만, 공감 중심의 역량인 핵심 상담 특성 및 전문적 실천 및 윤리 분야에선 전문가 수준에 못 미치며, 실제 적용 전에 특화된 피니테이닝과 인간의 감시가 필요하다는 점을 시사한다.

ABSTRACT

The rapid evolution of Large Language Models (LLMs) presents a promising solution to the global shortage of mental health professionals. However, their alignment with essential counseling competencies remains underexplored. We introduce CounselingBench, a novel NCMHCE-based benchmark evaluating 22 general-purpose and medical-finetuned LLMs across five key competencies. While frontier models surpass minimum aptitude thresholds, they fall short of expert-level performance, excelling in Intake, Assessment & Diagnosis but struggling with Core Counseling Attributes and Professional Practice & Ethics. Surprisingly, medical LLMs do not outperform generalist models in accuracy, though they provide slightly better justifications while making more context-related errors. These findings highlight the challenges of developing AI for mental health counseling, particularly in competencies requiring empathy and nuanced reasoning. Our results underscore the need for specialized, fine-tuned models aligned with core mental health counseling competencies and supported by human oversight before real-world deployment. Code and data associated with this manuscript can be found at: https://github.com/cuongnguyenx/CounselingBench

연구 동기 및 목표

• 정신건강 전문가의 글로벌 수요 증가 문제를 해결하기 위해 LLM이 임상 실무를 지원할 수 있는지 평가한다.
• LLM이 효과적인 정신건강 치료에 필수적인 핵심 상담 역량과 일치하는지 조사한다.
• 공감, 윤리, 문화적 민감성과 같은 핵심 영역에서 LLM의 성능 격차를 특정한다.
• 정신건강 상담 환경에서 LLM을 평가하기 위한 표준화된 벤치마크를 개발한다.

제안 방법

• NCMHCE 기반의 1,619개의 다중 선택 문제를 포함한 CounselingBench를 구축하여 다섯 가지 상담 역량을 평가한다.
• 일반 목적 및 의료 분야에 특화된 모델을 포함한 22개의 LLM을 이 질문들에 대한 응답으로 평가한다.
• 질문들을 다섯 가지 역량 카테고리로 분류: 상담 기술 및 개입, 접수 및 평가, 전문적 실천 및 윤리, 치료 계획 수립, 핵심 상담 특성.
• 인간이 애너테이션한 레이블을 사용하여 평가함으로써 기존 임상 기준과의 일치를 확보한다.
• 일반 모델과 의료 분야에 특화된 LLM의 성능을 비교한다.
• 오류 유형과 근거의 질을 분석하여 추론 깊이와 맥락 적합성을 평가한다.

실험 결과

연구 질문

• RQ1 라이센스 기준에서 정의된 핵심 정신건강 상담 역량과 LLM이 일치하는가?
• RQ2 일반 목적 LLM과 의료 분야에 특화된 LLM 간 핵심 상담 역량에서의 성능 비교는 어떻게 되는가?
• RQ3 LLM이 공감, 윤리적 사고, 환자 중심 실천 분야에서 전문가 수준의 숙련도를 얼마나 보여주는가?
• RQ4 특히 맥락 민감성과 가치 기반 영역에서 LLM의 주요 실패 유형은 무엇인가?
• RQ5 CounselingBench와 같은 다중 선택 벤치마크는 실제 임상 역량 평가에 신뢰할 수 있는 대체 지표가 될 수 있는가?

주요 결과

• 최신 기술의 LLM들은 접수, 평가 및 진단 분야에서 최소한의 능력 기준을 초월하며, 평균 정확도가 80% 이상을 기록한다.
• 강력한 진단 성능에도 불구하고, LLM은 핵심 상담 특성 분야에서 전문가 수준에 못 미치며, 평균 정확도가 50% 미만이다.
• 의료 분야에 특화된 LLM은 정확도에서 일반 모델을 뛰어넘지 못하지만, 약간 더 맥락에 부합하는 근거를 제공한다.
• LLM은 일반 모델보다 맥락 관련 오류를 더 많이 범하며, 이는 진정으로 이해하는 대신 훈련 데이터 패tern에 과적합된 결과로 보인다.
• 전문적 실천 및 윤리 분야의 성능은 특히 열악하며, 정확도가 60% 미만이어서 복잡한 상황에서 윤리적 의사결정을 제대로 이해하지 못하고 있음을 시사한다.
• 벤치마크는 다중 선택 형식이 공감과 미묘한 추론 평가를 단순화할 수 있으며, 진정한 임상 역량을 포착하는 데 한계가 있음을 드러낸다.