[논문 리뷰] Challenges of Large Language Models for Mental Health Counseling

Neo Christopher Chung, George Dyer외 1명|arXiv (Cornell University)|2023. 11. 23.

Mental Health via Writing인용 수 7

한 줄 요약

이 논문은 정신 건강 상담을 위한 대규모 언어 모델(LLMs)을 구현할 때 발생하는 다섯 가지 핵심 과제—허구성, 해석 가능성, 개인정보 보호, 임상적 효과성, 편향—을 규명하고 분석한다. 신뢰성과 윤리적인 사용을 향상시키기 위해 검색 기반 생성(RAG), 고품질 데이터를 활용한 피팅, 편향 완화 전략과 같은 실용적이고 즉각적인 해결책을 제안한다.

ABSTRACT

The global mental health crisis is looming with a rapid increase in mental disorders, limited resources, and the social stigma of seeking treatment. As the field of artificial intelligence (AI) has witnessed significant advancements in recent years, large language models (LLMs) capable of understanding and generating human-like text may be used in supporting or providing psychological counseling. However, the application of LLMs in the mental health domain raises concerns regarding the accuracy, effectiveness, and reliability of the information provided. This paper investigates the major challenges associated with the development of LLMs for psychological counseling, including model hallucination, interpretability, bias, privacy, and clinical effectiveness. We explore potential solutions to these challenges that are practical and applicable to the current paradigm of AI. From our experience in developing and deploying LLMs for mental health, AI holds a great promise for improving mental health care, if we can carefully navigate and overcome pitfalls of LLMs.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)을 활용해 심리적 지원 접근성을 확대하여 전 세계적인 정신 건강 위기를 해결한다.
• LLMs를 정신 건강 상담에 안전하고 효과적으로 구현하는 데 걸림돌이 되는 주요 과제를 규명하고 분석한다.
• 임상 적용 분야에서 모델의 정확성, 공정성, 해석 가능성, 개인정보 보호를 향상시키기 위한 실용적이고 즉각적인 해결책을 제안한다.
• LLMs의 윤리적이고 책임감 있는 정신 건강 서비스 통합을 보장하여, 허구성과 편향으로 인한 피해를 최소화한다.

제안 방법

• 정신 건강 환경에서 LLM의 한계를 종합적으로 분석하여, 허구성, 해석 가능성, 개인정보 보호, 임상적 효과성, 편향에 중점을 둔다.
• 사용자 중심 상담 도구와 상담사 보조 시스템으로 LLM 응용 프로그램을 분류하여 각각의 도전 과제를 평가한다.
• 응답을 사실 기반 지식 소스에 기반시켜 허구성을 줄이기 위해 검색 기반 생성(RAG)을 제안한다.
• 정확성을 향상시키고 허구적 출력을 줄이기 위해 고품질의 정제된 정신 건강 데이터로 LLM을 피팅하는 것을 지지한다.
• 알고리즘적 공정성 기법과 다양한 데이터 수집을 통해 편향을 완화하고, 특히 레즈비언, 게이, 비이성애자, 트랜스젠더 등 소수자 집단의 편향을 줄이기 위한 조치를 권장한다.
• 정신 건강 전문가의 인간 중심 검증과 철저한 평가가 필요하며, 이는 책임감 있는 구현을 보장한다.

실험 결과

연구 질문

• RQ1 LLMs의 허구성은 정신 건강 상담 응용 프로그램의 신뢰성과 안전성에 어떻게 악영향을 미치는가?
• RQ2 심리적 지원에 사용되는 LLM에서 해석 가능성과 모델 투명성을 얼마나 향상시킬 수 있는가?
• RQ3 전자 건강 기록(EHR)과 함께 LLM을 정신 건강 환경에서 사용할 경우 개인정보 보호 및 규제 리스크는 무엇인가?
• RQ4 LLMs의 임상적 효과성을 심리 상담 분야에서 어떻게 평가할 수 있으며, 어떤 기준이 필요한가?
• RQ5 훈련 데이터의 편향이 정신 건강 상담에 사용되는 LLM의 성능에 어떤 방식으로 영향을 미치며, 특히 낙인을 받거나 대표되지 않는 인구 집단에 대해선 어떠한가?

주요 결과

• LLMs는 사실적으로 잘못되거나 오해의 소지가 있는 응답을 일관성 있게 생성하는 허구성 현상을 보이며, 이는 정신 건강 응용 프로그램의 신뢰성과 안전성에 악영향을 미친다.
• 검색 기반 생성(RAG)과 고품질 정신 건강 데이터를 활용한 피팅은 허구성을 줄이고 사실 정확성을 향상시키는 데 효과적인 전략이다.
• 모델의 해석 가능성은 여전히 주요 과제로 남아 있으며, 이는 임상의가 LLM이 생성한 권고를 신뢰하거나 검증하거나 개선할 수 있는 능력을 제한한다.
• LLMs의 편향은 훈련 데이터에 깊이 뿌리내려 있으며, 특히 정서적 위험에 노출되어 있고 대표되지 않는 집단인 레즈비언, 게이, 비이성애자, 트랜스젠더 등에 영향을 미친다.
• 규제 및 윤리적 프레임워크가 필수적이며, 현재의 AI 시스템은 임상적 효과성에 대한 충분한 증거가 없고 감독 없이 배포될 경우 피해를 줄 수 있다.
• 한계가 있음에도 불구하고, LLM은 상담사의 동반자로 또는 규칙 기반의 인간 감독 시스템으로 사용될 경우 정신 건강 서비스의 접근성과 확장성을 향상시킬 수 있다.