[논문 리뷰] Building Trust in Mental Health Chatbots: Safety Metrics and LLM-Based Evaluation Tools

Jung In Park, Mahyar Abbasian외 12명|arXiv (Cornell University)|2024. 08. 03.

Digital Mental Health InterventionsPsychology인용 수 3

한 줄 요약

이 논문은 정신건강 챗봇의 표준화되고 전문가가 검증한 평가 프레임워크를 제안한다. 100개의 기준 질문, 이상 응답 및 지침 기반 평가를 포함하며, 실시간 데이터 접근 기능을 갖춘 에이제인트 LLM 방식이 인간 평가와 가장 높은 일치도를 보이며, 정적 LLM 스코링 방법에 비해 안전성과 신뢰성 측면에서 크게 향상됨을 입증한다.

ABSTRACT

Objective: This study aims to develop and validate an evaluation framework to ensure the safety and reliability of mental health chatbots, which are increasingly popular due to their accessibility, human-like interactions, and context-aware support. Materials and Methods: We created an evaluation framework with 100 benchmark questions and ideal responses, and five guideline questions for chatbot responses. This framework, validated by mental health experts, was tested on a GPT-3.5-turbo-based chatbot. Automated evaluation methods explored included large language model (LLM)-based scoring, an agentic approach using real-time data, and embedding models to compare chatbot responses against ground truth standards. Results: The results highlight the importance of guidelines and ground truth for improving LLM evaluation accuracy. The agentic method, dynamically accessing reliable information, demonstrated the best alignment with human assessments. Adherence to a standardized, expert-validated framework significantly enhanced chatbot response safety and reliability. Discussion: Our findings emphasize the need for comprehensive, expert-tailored safety evaluation metrics for mental health chatbots. While LLMs have significant potential, careful implementation is necessary to mitigate risks. The superior performance of the agentic approach underscores the importance of real-time data access in enhancing chatbot reliability. Conclusion: The study validated an evaluation framework for mental health chatbots, proving its effectiveness in improving safety and reliability. Future work should extend evaluations to accuracy, bias, empathy, and privacy to ensure holistic assessment and responsible integration into healthcare. Standardized evaluations will build trust among users and professionals, facilitating broader adoption and improved mental health support through technology.

연구 동기 및 목표

• 정신건강 챗봇의 증가하는 사용에 따라 접근성 있고 인간다운 치료를 제공하기 위한 신뢰할 수 있고 안전한 챗봇의 필요성 해결.
• 정신건강 맥락에서 챗봇의 안전성, 정확성, 신뢰성 평가를 위한 종합적인 평가 프레임워크 개발.
• 임상적 관련성 확보 및 해로운 응답의 위험 감소를 위해 정신건강 전문가를 활용한 프레임워크 검증.
• 자동화된 평가 방법, 특히 LLM 기반 스코링과 에이제인트 접근 방식을 비교하여 가장 효과적인 기법 규명.
• 안전성, 공감, 편향, 프라이버시 차원에서의 표준화된 종합적 평가 기반 마련.

제안 방법

• 정신건강 전문가의 검증을 받은 100개의 정제된 질문과 이상 응답을 포함한 벤치마크 프레임워크 설계.
• 채팅봇 응답의 안전성, 임상 적합성, 윤리적 일치도를 평가하기 위한 다섯 가지 지침 질문 정의.
• 세 가지 자동화된 평가 방법 구현: LLM 기반 스코링, 실시간 데이터 접근 기능을 갖춘 에이제인트 검색, 기준 응답과의 임베딩 기반 유사도.
• 채팅봇 응답의 기초 모델로 GPT-3.5-turbo 사용, 전문가가 검증한 기준과 대조 평가.
• 문장 변환기 등의 임베딩 모델을 활용해 챗봇 출력과 이상 응답 간 의미 유사도 계산.
• 전문가의 인간 평가와 대비하여 자동화된 스코어 성능 평가.

실험 결과

연구 질문

• RQ1 표준화되고 전문가가 검증한 평가 프레임워크는 정신건강 챗봇의 안전성과 신뢰성 향상에 얼마나 효과적인가?
• RQ2 LLM 기반 스코링, 에이제인트 검색, 임베딩 유사도 중 어느 자동화된 평가 방법이 인간 전문가 평가와 가장 유사한가?
• RQ3 에이제인트 방식을 통한 실시간 데이터 접근은 챗봇 응답의 정확성과 안전성에 어느 정도 향상 기여하는가?
• RQ4 임상 지침과 기준 응답 준수 여부는 LLM 평가 성능에 어떤 영향을 미치는가?
• RQ5 자동화된 평가 도구는 안전성, 공감, 편향 등의 핵심 정신건강 차원에서 챗봇 응답을 신뢰성 있게 평가할 수 있는가?

주요 결과

• 실시간으로 신뢰할 수 있는 정보 소스에 동적으로 접근하는 에이제인트 평가 방식이 인간 전문가 평가와 가장 강한 일치도를 보였다.
• 지침과 기준 응답 기준은 LLM 기반 평가 방법의 정확도를 크게 향상시켰다.
• 실시간 데이터 접근 기능이 없는 정적 LLM 스코링은 에이제인트 방법에 비해 더 신뢰성이 떨어져, 단독 LLM 추론의 한계를 드러냈다.
• 전문가가 검증한 프레임워크는 다양한 정신건강 시나리오에서 응답의 안전성과 임상 적합성을 효과적으로 향상시켰다.
• 임베딩 기반 유사도 측정은 인간 평가와의 일치도가 유용하지만 에이제인트 방식에 비해 다소 정밀도가 떨어졌다.
• 표준화된 평가 프레임워크는 임상 현장에서 정신건강 챗봇의 신뢰 구축과 책임감 있는 배포를 가능하게 하기 위해 필수적이다.