[논문 리뷰] Multi-dimensional Assessment and Explainable Feedback for Counselor Responses to Client Resistance in Text-based Counseling with LLMs

Anqi Li, Ruihan Wang외 6명|arXiv (Cornell University)|2026. 02. 25.

Mental Health via Writing인용 수 0

한 줄 요약

요약: 이 논문은 텍스트 기반 상담에서 내담자 저항에 대한 상담자 응답을 평가하기 위한 4차원 프레임워크를 제안하고, 전문가 주석 데이터셋을 생성하며, 파인튜닝된 Llama-3.1 모델을 훈련시켜 베이스라인보다 성능이 우수하고 설명을 생성할 수 있음을 보인다; 개념 증명 연구는 AI 생성 피드백이 상담자의 응답 품질을 향상시킨다고 시사한다.

ABSTRACT

Effectively addressing client resistance is a sophisticated clinical skill in psychological counseling, yet practitioners often lack timely and scalable supervisory feedback to refine their approaches. Although current NLP research has examined overall counseling quality and general therapeutic skills, it fails to provide granular evaluations of high-stakes moments where clients exhibit resistance. In this work, we present a comprehensive pipeline for the multi-dimensional evaluation of human counselors' interventions specifically targeting client resistance in text-based therapy. We introduce a theory-driven framework that decomposes counselor responses into four distinct communication mechanisms. Leveraging this framework, we curate and share an expert-annotated dataset of real-world counseling excerpts, pairing counselor-client interactions with professional ratings and explanatory rationales. Using this data, we perform full-parameter instruction tuning on a Llama-3.1-8B-Instruct backbone to model fine-grained evaluative judgments of response quality and generate explanations underlying. Experimental results show that our approach can effectively distinguish the quality of different communication mechanisms (77-81% F1), substantially outperforming GPT-4o and Claude-3.5-Sonnet (45-59% F1). Moreover, the model produces high-quality explanations that closely align with expert references and receive near-ceiling ratings from human experts (2.8-2.9/3.0). A controlled experiment with 43 counselors further confirms that receiving these AI-generated feedback significantly improves counselors' ability to respond effectively to client resistance.

연구 동기 및 목표

• 이론 기반의 다차원 프레임워크를 개발하여 텍스트 기반 상담에서 내담자 저항에 대한 상담자 응답을 평가한다.
• 저항-대응 개입에 대한 설명이 포함된 전문가 주석 데이터셋을 생성한다.
• 대규모 언어 모델을 학습시켜 세밀한 평가와 실행 가능하고 해석 가능한 설명을 생성한다.
• AI 생성 피드백의 실제 활용성을 입증하여 저항 상황에서 상담자 성과를 향상시킨다.

제안 방법

• 다섯 차원의 프레임워크를 제안한다: 자율성 존중, 태도 정렬, 정서 공감, 대화 방향성이며 각 요소마다 표현 수준은 없음, 약함, 강함의 세 가지로 구성한다.
• 저항 탐지 및 상담자 응답을 포함하는 ClientBehavior 및 ObserverWAI 대화를 기반으로 전문가 주석 데이터셋을 구성하고 설명을 포함한다.
• 5-fold 교차 검증과 불균형 클래스를 해결하기 위한 오버샘플링을 사용하여 Llama-3.1-8B-Instruct를 작업에 대해 전체 매개변수 미세 조정한다.
• 매크로-F1 및 정확도 등을 사용하여 baselines(GPT-4o 및 Claude-3.5-Sonnet 포함)과의 분류 성능을 평가하고, BLEU/Rouge 같은 자동 지표와 인간 평가를 통해 설명 품질을 평가한다.
• 선형 혼합 효과 모델을 사용한 실험에서 43명의 상담사를 대상으로 AI 생성 피드백의 효용성을 테스트하는 개념 증명 연구를 수행한다.

Figure 1: Overview of our framework for evaluating counselor responses to client resistance. The framework comprises four core communication mechanisms: Respect for Autonomy , Stance Alignment , Emotional Resonance , and Conversational Orientation . For each mechanism, responses are further categori

실험 결과

연구 질문

• RQ1 다섯 차원의 프레임워크가 저항 맥락에서 네 가지 의사소통 메커니즘에 걸친 상담자 응답 표현의 수준을 신뢰할 수 있게 구분할 수 있는가?
• RQ2 설명과 함께 하는 작업 특화 미세 조정이 기본 LLM보다 분류 및 설명 품질을 개선하는가?
• RQ3 AI 생성 설명과 피드백이 실시간 상담자 교육 및 기술 개발에 사용 가능하고 이익이 되는가?

주요 결과

• 우리 모델은 네 가지 메커니즘에서 매크로-F1 77.34–81.00% 및 정확도 77.64–87.06%를 달성하며, GPT-4o 및 Claude-3.5-Sonnet보다 20포인트 이상의 F1 점수 차이로 우수한 성능을 보인다.
• 설명들을 학습에 포함시키면 라벨 전용 학습보다 최소 ~4 F1 포인트의 이득이 발생한다.
• 자동 설명은 BLEU-1 = 0.60의 점수를 달성하고 프레임워크 일관성, 증거 고정, 명확성/구체성에 대해 인간 평가 점수가 2.8–2.9/3.0으로 평가된다.
• 설명은 강한 어휘 정렬(BLEU-1 0.60)과 거의 천장이 가까운 인간 평가를 보여 고품질의 실행 가능한 피드백임을 시사한다.
• 통제된 실험에서 AI 생성 피드백을 받은 상담사는 대조군에 비해 저항-대응 품질이 크게 향상되었고(네 차원 전반에서 단계적 상호작용 효과)
• 주석의 신뢰도는 네 가지 메커니즘에서 Cohen의 kappa 0.74–0.77의 상당한 수준으로, 고품질의 설명적 타당성을 보인다.

Figure 2: Interaction effects between experimental groups and phases across four dimensions. Solid green lines represent the control group, while dashed orange lines represent the experimental group. Points denote the mean values, and error bars indicate 95% confidence intervals. The results reveal