[논문 리뷰] Understanding the Therapeutic Relationship between Counselors and Clients in Online Text-based Counseling using LLMs

Anqi Li, Yu Lu외 4명|arXiv (Cornell University)|2024. 02. 19.

Business Process Modeling and AnalysisBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 인간 전문가 평가와의 일치를 도모하기 위해 종합적인 지침과 Chain-of-Thought 프롬프팅을 사용하는 LLM 기반 자동 평가 프레임워크를 제안한다. 이는 온라인 텍스트 기반 상담에서의 작업 연합을 평가하기 위한 것이다. 이 방법은 인간 평가와 높은 일치도를 보이며, LLM이 정신건강 상담에서 감독 도구로 기능할 잠재력을 보여준다.

ABSTRACT

Robust therapeutic relationships between counselors and clients are fundamental to counseling effectiveness. The assessment of therapeutic alliance is well-established in traditional face-to-face therapy but may not directly translate to text-based settings. With millions of individuals seeking support through online text-based counseling, understanding the relationship in such contexts is crucial. In this paper, we present an automatic approach using large language models (LLMs) to understand the development of therapeutic alliance in text-based counseling. We adapt a theoretically grounded framework specifically to the context of online text-based counseling and develop comprehensive guidelines for characterizing the alliance. We collect a comprehensive counseling dataset and conduct multiple expert evaluations on a subset based on this framework. Our LLM-based approach, combined with guidelines and simultaneous extraction of supportive evidence underlying its predictions, demonstrates effectiveness in identifying the therapeutic alliance. Through further LLM-based evaluations on additional conversations, our findings underscore the challenges counselors face in cultivating strong online relationships with clients. Furthermore, we demonstrate the potential of LLM-based feedback mechanisms to enhance counselors' ability to build relationships, supported by a small-scale proof-of-concept.

연구 동기 및 목표

• 온라인 정신건강 상담에서 수동 평가의 높은 비용과 주관성 문제를 해결하기 위해.
• 중립적이고 확장 가능한 제3자 자동 평가 방법을 개발하여 작업 연합을 평가하기 위해.
• 전문가가 설계한 지침과 Chain-of-Thought 프롬프팅을 활용해 LLM의 상담 품질 평가 성능을 향상시키기 위해.
• 인간 레이블 데이터와의 비교를 통해 LLM 기반 평가의 타당성과 신뢰성, 해석 가능성 여부를 검증하기 위해.
• LLM이 임상 훈련 및 감독 과정에서 정신치료사의 감독 도구로 활용될 잠재력을 탐색하기 위해.

제안 방법

• 저자들은 온라인 플랫폼에서 대규모 텍스트 기반 상담 데이터셋을 수집하였으며, 상담사와 클라이언트가 자체적으로 평가한 작업 연합 점수를 포함하였다.
• Bordin의 치료적 관계 이론에 기반하여 작업 연합 척도(WAI)의 관찰자 버전을 개발하였으며, 목표, 과제, 유대감의 각 구성 요소에 대해 상세한 질문 4개를 설정하였다.
• 전문가 평가자들이 다섯 단계(상당한 반대 증거, 일부 반대 증거, 반대 증거 없음, 일부 지지 증거, 상당한 지지 증거)로 나누어 세션의 일부를 증거 기반 평가로 레이블링 하였다.
• LLM(예: GPT-4)은 이러한 지침을 기반으로 미세조정되어 다중 대화 흐름 전반에 걸친 작업 연합 평가 정확도를 향상시켰다.
• Chain-of-Thought(CoT) 프롬프팅을 통합하여 LLM이 대화에서 증거를 추출하고 그에 대한 근거를 제시하는 능력을 향상시켜, 결과의 해석 가능성과 일관성을 높였다.
• 프레임워크는 인간 레이블링 결과와의 비교를 통해 검증되었으며, LLM이 추출한 증거를 사용할 경우 인간 평가자의 일관성이 향상되고 높은 일치도를 보였다.

실험 결과

연구 질문

• RQ1 전문가가 설계한 지침을 통해 LLM이 온라인 상담에서 작업 연합을 높은 신뢰성으로 평가할 수 있는가?
• RQ2 Chain-of-Thought 프롬프팅은 LLM 기반 상담 평가의 해석 가능성과 정확도를 어떻게 향상시키는가?
• RQ3 LLM 기반 평가는 인간 전문가의 치료적 연합 평가와 어느 정도 일치하는가?
• RQ4 LLM이 추출한 증거는 인간 평가자의 일관성과 평가 품질을 향상시키는 데 기여하는가?
• RQ5 LLM은 정신건강 상담 훈련 및 품질 보증 과정에서 감독 도구로 활용될 잠재력이 있는가?

주요 결과

• LLM 기반 평가 방법은 인간 전문가 평가와 높은 일치도를 보이며, 작업 연합 평가의 강력한 신뢰성과 타당성을 입증하였다.
• 전문가가 설계한 지침의 통합은 GPT-4의 상담 세션 평가 성능을 크게 향상시켜 내부 일관성과 인간 평가와의 일치를 보장하였다.
• Chain-of-Thought 프롬프팅은 LLM이 대화에서 지지 증거를 식별하고 추출할 수 있도록 하여 평가 점수의 해석 가능성과 타당성을 향상시켰다.
• LLM이 추출한 증거는 인간 평가자 간의 일관성을 향상시켜, LLM이 인간 평가 과정에서 유용한 도구로 활용될 수 있음을 시사한다.
• 이 방법은 전통적인 수동 평가에 비해 비용 효율적이며 확장 가능하고 중립적인 대안을 제공하며, 임상 감독 및 훈련 분야에서 강력한 잠재력을 지닌다.
• 이 연구는 LLM이 특히 관계적 동역학(예: 작업 연합)과 같은 요소를 평가하는 데 있어 자동화된 제3자 평가 도구로 효과적으로 활용될 수 있음을 확인한다.