[논문 리뷰] Enhancing Psychological Counseling with Large Language Model: A Multifaceted Decision-Support System for Non-Professionals

Guanghui Fu, Qing Zhao외 10명|arXiv (Cornell University)|2023. 08. 29.

Mental Health via Writing인용 수 17

한 줄 요약

본 논문은 대형 언어 모델 기반 상담자 지원 시스템을 제안하여 전문직이 아닌 이들이 온라인 심리 개입을 수행하도록 돕고, 다수의 차원에서 전문가 평가를 통해 이를 검증한다.

ABSTRACT

In the contemporary landscape of social media, an alarming number of users express negative emotions, some of which manifest as strong suicidal intentions. This situation underscores a profound need for trained psychological counselors who can enact effective mental interventions. However, the development of these professionals is often an imperative but time-consuming task. Consequently, the mobilization of non-professionals or volunteers in this capacity emerges as a pressing concern. Leveraging the capabilities of artificial intelligence, and in particular, the recent advances in large language models, offers a viable solution to this challenge. This paper introduces a novel model constructed on the foundation of large language models to fully assist non-professionals in providing psychological interventions on online user discourses. This framework makes it plausible to harness the power of non-professional counselors in a meaningful way. A comprehensive study was conducted involving ten professional psychological counselors of varying expertise, evaluating the system across five critical dimensions. The findings affirm that our system is capable of analyzing patients' issues with relative accuracy and proffering professional-level strategies recommendations, thereby enhancing support for non-professionals. This research serves as a compelling validation of the application of large language models in the field of psychology and lays the groundwork for a new paradigm of community-based mental health support.

연구 동기 및 목표

• 훈련된 심리 상담가의 부족을 해결하기 위해 비전문가가 LLM을 사용하여 온라인 심리 지원을 제공할 수 있도록 한다.
• 비전문가를 분석 및 응답 전략 수립에 도움을 주는 안전하고 프라이버시를 의식한 시스템을 개발한다.
• 여러 차례의 대화를 거치며 전문가 평가를 통해 시스템의 효과성과 안전성을 검증한다.

제안 방법

• 상담자가 초기 응답과 의뢰인의 댓글을 입력하면 시스템이 상담자 검토를 위한 향상된 Reply+를 제공하는 LLM-카운슬러 지원 워크플로를 구축한다.
• 처리 전 식별 가능한 데이터를 마스킹하기 위해 정규 표현식을 이용한 프라이버시 정보 필터링을 구현한다.
• AI의 역할, 작업, 경계, 맥락, 오류 처리, 자원, 인지 왜곡 식별 및 입력/출력 형식을 정의하는 구조화된 프롬프트를 설계한다.
• 생성된 콘텐츠가 모욕적이지 않도록 임베딩 및 벡터 데이터베이스를 통해 공격적 데이터 세트와 비교하는 디톡스 파이프라인을 사용한다( 임계값 α = 0.2 ).
• LLM 출력으로부터 보고서를 생성하고 이를 인간 상담가가 평가하여 정확성 및 안전성을 다섯 가지 차원에서 평가한다.
• 전문가 감독, 윤리적 제약, 실제 현장 배치의 잠재적 한계 등을 포함한 시스템 설계 고려사항을 논의한다.

실험 결과

연구 질문

• RQ1 LLM-카운슬러 시스템이 전문가 수준에 근접한 정확도로 의뢰인의 문제와 인지 왜곡을 분석할 수 있는가?
• RQ2 생성된 구두 전략이 비전문 상담가에게 적절하고 효과적인가?
• RQ3 안전성과 프라이버시를 유지하면서 시스템이 다음 단계에 대한 유용한 제안을 제공할 수 있는가?
• RQ4 단일 라운드와 다중 라운드 대화에서 시스템 생성 보고서에 대한 전문가 평가의 신뢰도는 얼마나 되는가?
• RQ5 소셜 미디어 맥락에서 이러한 시스템을 배치할 때의 주요 한계와 안전 문제는 무엇인가?

주요 결과

• 전문가들은 환자의 문제 분석에서 시스템이 높은 정확성을 달성했다고 평가했다(단일 라운드 ≈93%; 다중 라운드 ≈97.5%).
• 인지 왜곡 분석의 정확도도 높았다(단일 라운드 ≈91.5%; 다중 라운드 ≈95%).
• 상담자 행동 분석 정확도는 단일 라운드에서 높았고(≈94.5%), 다중 라운드 상황에서 다소 낮아졌다(≈85%).
• 구두 전략의 적합성은 단일 라운드에서 약 84%, 다중 라운드 대화에서 78.75%였으며 상당한 불확실성이 있었다.
• 다음 단계에 대한 효과적인 제안은 단일 라운드에서 ≈87% 정확도, 다중 라운드 평가에서 ≈82.5%를 보였다.
• Krippendorff’s Alpha는 높은 면담자 간 신뢰도를 나타냈다(단일 라운드 0.98, 다중 라운드 0.95).