[논문 리뷰] Can AI Relate: Testing Large Language Model Response for Mental Health Support

Saadia Gabriel, Isha Puri외 3명|arXiv (Cornell University)|2024. 05. 20.

Mental Health via Writing인용 수 4

한 줄 요약

이 연구는 GPT-4와 같은 대규모 언어 모델(LLM)의 정신 건강 대응에서 정의와 품질을 평가하며, 임상의 평가와 편향 감사 방법을 통해 인간의 동료 지원과 비교한다. 연구 결과, GPT-4는 Black 사용자에게 2%~15% 낮은 공감 수준을 보이며 통계적으로 유의미한 공감 격차를 보였지만, 명시적인 인구통계학적 프롬프트를 통해 이러한 편향을 완화할 수 있음을 확인하여, 윤리적으로 이끌어진 LLM이 정신 건강 간호에 기여할 수 있음을 시사한다.

ABSTRACT

Large language models (LLMs) are already being piloted for clinical use in hospital systems like NYU Langone, Dana-Farber and the NHS. A proposed deployment use case is psychotherapy, where a LLM-powered chatbot can treat a patient undergoing a mental health crisis. Deployment of LLMs for mental health response could hypothetically broaden access to psychotherapy and provide new possibilities for personalizing care. However, recent high-profile failures, like damaging dieting advice offered by the Tessa chatbot to patients with eating disorders, have led to doubt about their reliability in high-stakes and safety-critical settings. In this work, we develop an evaluation framework for determining whether LLM response is a viable and ethical path forward for the automation of mental health treatment. Our framework measures equity in empathy and adherence of LLM responses to motivational interviewing theory. Using human evaluation with trained clinicians and automatic quality-of-care metrics grounded in psychology research, we compare the responses provided by peer-to-peer responders to those provided by a state-of-the-art LLM. We show that LLMs like GPT-4 use implicit and explicit cues to infer patient demographics like race. We then show that there are statistically significant discrepancies between patient subgroups: Responses to Black posters consistently have lower empathy than for any other demographic group (2%-13% lower than the control group). Promisingly, we do find that the manner in which responses are generated significantly impacts the quality of the response. We conclude by proposing safety guidelines for the potential deployment of LLMs for mental health response.

연구 동기 및 목표

• 대규모 언어 모델(LLM)이 인간의 동료 지원과 비교해 공정하고 높은 수준의 정신 건강 대응을 제공할 수 있는지 평가하는 것.
• GPT-4와 같은 LLM이 소셜 미디어 게시물에서 환자의 인구통계학적 특성, 특히 인종을 인식하고 다르게 반응하는지 조사하는 것.
• 프롬프트 엔지니어링이 LLM이 생성한 정신 건강 대응에서 인구통계학적 편향을 줄이는 데 미치는 영향을 평가하는 것.
• LLM 기반 정신 건강 응용 프로그램의 윤리적 리스크와 치료 품질을 감사하기 위한 계산 기반 프레임워크를 개발하는 것.
• 임상 정신 건강 환경에서 LLM의 책임 있는 배포를 위한 안전 지침을 제안하는 것.

제안 방법

• 자격을 가진 임상 심리학자들이 LLM과 동료 간 상호작용 응답의 공감, 해석, 행동 장려 수준을 평가하기 위해 인간 평가를 실시하였다.
• 심리학 연구에 기반한 자동 평가 지표를 사용하여 치료 품질을 평가하였으며, 정서적 수용과 행동 변화 촉진을 포함한다.
• 사회 미디어 게시물을 인구통계학적 특성(예: 인종, 성별)을 명시적으로 포함하도록 수정하고, 하위 집단 간 공감 수준의 차이를 측정함으로써 편향 감사를 수행하였다.
• 다양한 프롬프트 전략을 사용하여 GPT-4, GPT-3.5, Mental-LLaMa의 응답을 비교하였다. 이 중에는 인구통계학적 인식을 고려한 지침(MHF-2, MHF-3)이 포함되었다.
• 맥락과 프롬프트 변동을 제어하면서, 인구통계학적 하위 집단 간 유의미한 공감 차이를 탐지하기 위해 통계적 검정을 적용하였다.
• 명시적인 인구통계학적 프롬프트가 편향을 완화하는 데 미치는 영향을 평가하였으며, 암묵적 편향 대비 명시적 편향 감소에 관한 인지심리학 문헌을 기반으로 하였다.

실험 결과

연구 질문

• RQ1 GPT-4는 다양한 인종 및 민족 하위 집단 간 정신 건강 대응에서 측정 가능한 공감 격차를 보이는가?
• RQ2 LLM은 개방형 소셜 미디어 게시물에서 환자의 인구통계학적 특성(예: 인종)을 인식할 수 있는가?
• RQ3 공감과 행동 장려 측면에서 LLM의 응답 품질은 인간의 동료 지원과 비교해 어떻게 되는가?
• RQ4 명시적인 인구통계학적 프롬프트가 LLM이 생성한 정신 건강 대응에서 편향을 어느 정도 감소시킬 수 있는가?
• RQ5 정신 건강 지원 시스템에 LLM을 배포할 때 윤리적 리스크와 안전 고려사항은 무엇인가?

주요 결과

• GPT-4의 응답은 긍정적인 행동 변화 장려 측면에서 인간의 동료 지원 대비 48% 더 효과적이었지만, 일부 하위 집단에서는 공감 수준이 낮았다.
• GPT-4는 통계적으로 유의미한 공감 격차를 보였으며, Black 게시자에게는 White 또는 인종 미기재 게시자에 비해 2%~15% 더 낮은 공감 수준을 보였다.
• Asian 게시자에게는 또한 유의미하게 낮은 공감 수준을 보였으며, 제어군 대비 5%~17% 감소한 것으로 나타났다.
• 보다 낮은 수준의 모델임에도 불구하고, GPT-3.5는 동일한 조건에서 GPT-4보다 더 높은 총공감 수준을 보였으며, 이는 모델 발전이 정신 건강 간호 품질 향상으로 이어지지 않음을 시사한다.
• 명시적인 인구통계학적 프롬프트(MHF-2, MHF-3)는 하위 집단 간 통계적으로 유의미한 공감 격차를 완전히 제거하여, GPT-4 및 Mental-LLaMa 응답의 편향을 효과적으로 완화하였다.
• LLM은 텍스트 콘텐츠에서 환자의 인구통계학적 특성(예: 인종)을 인식할 수 있으며, 이는 개인정보 유출 및 유추된 신분 기반 차별적 대응 가능성을 우려하게 한다.