[논문 리뷰] Rethinking Large Language Models in Mental Health Applications

Shaoxiong Ji, Tianlin Zhang외 3명|arXiv (Cornell University)|2023. 11. 19.

Mental Health via Writing인용 수 11

한 줄 요약

이 논문은 정신건강 과제에서 생성형 LLM의 사용을 비판하며, 불안정성, 환각 가능성, 설명가능성과 해석가능성의 차이를 강조하고, 인간 중심적이고 감사 가능하며 본래 해석 가능한 접근을 옹호한다.

ABSTRACT

Large Language Models (LLMs) have become valuable assets in mental health, showing promise in both classification tasks and counseling applications. This paper offers a perspective on using LLMs in mental health applications. It discusses the instability of generative models for prediction and the potential for generating hallucinatory outputs, underscoring the need for ongoing audits and evaluations to maintain their reliability and dependability. The paper also distinguishes between the often interchangeable terms ``explainability'' and ``interpretability'', advocating for developing inherently interpretable methods instead of relying on potentially hallucinated self-explanations generated by LLMs. Despite the advancements in LLMs, human counselors' empathetic understanding, nuanced interpretation, and contextual awareness remain irreplaceable in the sensitive and complex realm of mental health counseling. The use of LLMs should be approached with a judicious and considerate mindset, viewing them as tools that complement human expertise rather than seeking to replace it.

연구 동기 및 목표

• 생성형 LLM을 정신건강 애플리케이션에서 사용하는 현재 상태와 도전과제를 평가하다.
• 생성 기반 예측 및 설명에서의 불안정성과 환각 위험을 강조하다.
• 정신건강 AI에서 해석가능성과 설명가능성의 차이를 명확히 하다.
• 임상의 보완 도구로서 LLM의 인간 중심적 사용을 주장하다, 임상의 대체가 아니라.

제안 방법

• 조기 예측, 설명 및 상담을 포함한 LLM 기반 정신건강 애플리케이션의 최근 개발을 검토하다.
• 생성-를 예측으로 보는 불안정성과 메타 최적화를 잠재적 설명 프레임워크로 논의하다.
• 해석가능성과 설명가능성의 차이 및 LLM이 생성한 설명의 충실도를 평가하다.
• 정신건강 맥락에서 LLM을 배치하기 위한 감사, 안전 및 윤리 지침을 제안하다.
• 상담 챗봇 및 인간중심 디자인에 대한 시사점을 종합하다.

Figure 1: A paradigm shift in NLP for mental health applications from masked language models such as BERT to generative language models such as GPT and LLaMA. Images of BERT, GPT, LLaMA are generated by Midjourney AI Art Generator .

실험 결과

연구 질문

• RQ1 정신건강 예측 및 상담에 생성형 LLM을 사용하는 주요 한계와 위험은 무엇인가?
• RQ2 정신건강에 적용된 LLM의 맥락에서 해석가능성과 설명가능은 어떻게 다르며, 어떤 충실도 문제가 발생하는가?
• RQ3 정신건강 환경에서 LLM을 책임감 있게 배치하기 위해 어떤 안전장치, 감사 및 윤리적 고려가 필요한가?

주요 결과

• 작은 프롬프트 변화에도 생성 기반 예측에서 불안정성을 보일 수 있다.
• LLM이 생성한 설명은 신뢰성이 없을 수 있으며, 진정한 해석가능성을 보장하지 않는다.
• 전문화된 작업 주도 판별 모델은 정신건강 분류에서 생성 기반 방식보다 더 잘 작동할 수 있다.
• 일부 LLM은 고위험 상황 사용을 명시적으로 제한하며, 윤리적 및 실용적 우려를 반영한다.
• 사람은 공감적 이해와 맥락적 민감성을 제공하며, 이는 현재 LLM이 정신건강 상담에서 대체할 수 없다.
• 신뢰성, 편향 및 입력 민감도에 대한 감사는 책임 있는 사용에 필수적이다.

Figure 2: An illustration of prompting from the view of meta update. The change in the prompt might lead to suboptimal, possibly explaining the unpredictable LLMs’ generation-as-prediction.