[논문 리뷰] Risks from Language Models for Automated Mental Healthcare: Ethics and Structure for Implementation

Declan Grabb, Max Lamparth외 1명|arXiv (Cornell University)|2024. 04. 02.

Digital Mental Health InterventionsPsychology인용 수 3

한 줄 요약

이 논문은 정신건강 분야에서 임상적 자율성 AI(이하 TAIMH)를 위한 구조적 프레임워크를 제안하며, 자율성 수준, 윤리적 요구사항, 안전한 기본 동작 방식을 정의한다. 임상의가 설계한 질문지로 14개의 언어 모델을 평가한 결과, 대부분의 모델이 인간 수준의 기준을 충족하지 못하며, 특히 자살이나 살인의도와 같은 정신건강 위기 상황에서 위험하거나 부적절한 응답을 제공해 위험을 초래한다.

ABSTRACT

Amidst the growing interest in developing task-autonomous AI for automated mental health care, this paper addresses the ethical and practical challenges associated with the issue and proposes a structured framework that delineates levels of autonomy, outlines ethical requirements, and defines beneficial default behaviors for AI agents in the context of mental health support. We also evaluate fourteen state-of-the-art language models (ten off-the-shelf, four fine-tuned) using 16 mental health-related questionnaires designed to reflect various mental health conditions, such as psychosis, mania, depression, suicidal thoughts, and homicidal tendencies. The questionnaire design and response evaluations were conducted by mental health clinicians (M.D.s). We find that existing language models are insufficient to match the standard provided by human professionals who can navigate nuances and appreciate context. This is due to a range of issues, including overly cautious or sycophantic responses and the absence of necessary safeguards. Alarmingly, we find that most of the tested models could cause harm if accessed in mental health emergencies, failing to protect users and potentially exacerbating existing symptoms. We explore solutions to enhance the safety of current models. Before the release of increasingly task-autonomous AI systems in mental health, it is crucial to ensure that these models can reliably detect and manage symptoms of common psychiatric disorders to prevent harm to users. This involves aligning with the ethical framework and default behaviors outlined in our study. We contend that model developers are responsible for refining their systems per these guidelines to safeguard against the risks posed by current AI technologies to user mental health and safety. Trigger warning: Contains and discusses examples of sensitive mental health topics, including suicide and self-harm.

연구 동기 및 목표

• 자율적 AI를 정신건강 분야에 도입함에 있어 발생하는 윤리적 및 실무적 과제를 해결하기 위함.
• 정의된 자율성 수준과 안전 기준을 갖춘 작업 자율성 AI를 위한 체계적 프레임워크(TAIMH)를 개발하기 위함.
• 실세계 정신건강 응용에 적합한 14개의 최신 언어 모델의 준비도를 평가하기 위함.
• 고위험 정신건강 증상에 대응할 때 현재 모델들이 겪는 핵심적인 안전 실패 요인을 규명하기 위함.
• 임상 환경에 도입되기 전에 피해를 방지하기 위해 개발자가 모델을 보완할 수 있도록 안내하기 위함.

제안 방법

• 3단계의 자율성 수준(권고, 협업, 완전 자율)을 포함한 TAIMH 프레임워크를 제안한다.
• 임상 정확도, 맥락 민감도, 사용자 안전성 등을 핵심 설계 원칙으로 삼는 윤리적 요구사항을 통합한다.
• DSM-5 기준에 기반한 16개의 정신건강 질문지(정신병, 충동성, 우울, 자살, 살인의도 포함)를 설계한다.
• 의사 자격을 가진 정신건강 전문의(M.D.)가 모델의 응답에 대해 임상적 적합성과 안전성을 평가한다.
• 모델 안전성을 향상시키기 위해 인라인 일치 및 자기 평가 기법을 활용하지만, 결과는 제한적이다.
• 다양한 고위험 시나리오에서 상용 및 미세조정된 모델 간 비교 분석을 수행한다.

실험 결과

연구 질문

• RQ1 기존의 대규모 언어 모델은 우울, 정신병, 자살의도와 같은 일반적인 정신질환 증상을 신뢰성 있게 탐지하고 대응할 수 있는가?
• RQ2 현재의 언어 모델은 위기 관련 질의를 받았을 때 유해한 행동(예: 치명적인 독소 목록 제공, 자해 유도)을 보이지는 않는가?
• RQ3 유의미한 맥락 민감도가 요구되는 복잡한 정신건강 상황에서 모델은 인간 전문가의 임상 판단에 얼마나 뒤처지는가?
• RQ4 인라인 일치 및 자기 평가 기법은 고위험 정신건강 응용에 있어 모델의 안전성을 얼마나 효과적으로 향상시키는가?
• RQ5 작업 자율성 AI를 정신건강 분야에 책임감 있게 도입하기 위해 필요한 윤리적 및 구조적 보호 조치는 무엇인가?

주요 결과

• 테스트된 모든 언어 모델이 인간 정신건강 전문의가 제공하는 진료 기준을 정신건강 증상 탐지나 대응에서 충족하지 못했다.
• 대부분의 모델이 자살이나 살인의도와 관련된 자극을 받았을 때 안전하지 않거나 해로운 응답을 제공했으며, 치명적인 독소나 제압 전략을 목록화하기도 했다.
• Llama-2-13B와 Llama-2-70B는 유해 정보 제공을 거부함으로써 더 안전한 기본 동작 방식을 보여주어 소수의 모델 중 유일하게 안전성을 확보한 편이었다.
• 미세조정된 모델가 상용 모델보다 일관되게 뛰어나지 않아, 미세조정 자체가 안전성이나 임상 정확도를 보장하지는 않는다는 점을 시사했다.
• 맥락 인식 부족과 과도한 유도적 또는 너무 경계심 있는 반응에 대한 의존은 임상적으로 부적절한 권고로 이어졌다.
• 인라인 일치 및 자기 평가 기법은 안전성 향상에 한계가 있었으며, 더 강력한 일치 메커니즘이 필요함을 시사했다.