[논문 리뷰] PsyCLIENT: Client Simulation via Conversational Trajectory Modeling for Trainee Practice and Model Evaluation in Mental Health Counseling

Huachuan Qiu, Zhaoming Chen외 4명|arXiv (Cornell University)|2026. 01. 12.

Digital Mental Health Interventions인용 수 0

한 줄 요약

PsyCLIENT는 trainee practice와 LLM-based counselors 평가를 위한 다양하고 진정한 중국어 클라이언트 상호작용을 시뮬레이션하는 대화적 궤적 모델링 프레임워크를 도입하여 높은 현실감과 훈련 효과를 달성합니다. 기본 구현을 능가하고 인간 클라이언트와 구분할 수 없는 대화를 생성합니다.

ABSTRACT

LLM-based client simulation has emerged as a promising tool for training novice counselors and evaluating automated counseling systems. However, existing client simulation approaches face three key challenges: (1) limited diversity and realism in client profiles, (2) the lack of a principled framework for modeling realistic client behaviors, and (3) a scarcity in Chinese-language settings. To address these limitations, we propose PsyCLIENT, a novel simulation framework grounded in conversational trajectory modeling. By conditioning LLM generation on predefined real-world trajectories that incorporate explicit behavior labels and content constraints, our approach ensures diverse and realistic interactions. We further introduce PsyCLIENT-CP, the first open-source Chinese client profile dataset, covering 60 distinct counseling topics. Comprehensive evaluations involving licensed professional counselors demonstrate that PsyCLIENT significantly outperforms baselines in terms of authenticity and training effectiveness. Notably, the simulated clients are nearly indistinguishable from human clients, achieving an about 95\% expert confusion rate in discrimination tasks. These findings indicate that conversational trajectory modeling effectively bridges the gap between theoretical client profiles and dynamic, realistic simulations, offering a robust solution for mental health education and research. Code and data will be released to facilitate future research in mental health counseling.

연구 동기 및 목표

• LLM 기반 상담 시뮬레이션에서 다양하고 현실적인 클라이언트 프로필의 부족 문제를 해결한다.
• 현실적인 클라이언트 행동을 모델링하기 위한 원리적이고 궤적 기반의 프레임워크를 제안한다.
• 60개 주제를 다루는 최초의 오픈 소스 중국어 클라이언트 프로필 데이터셋인 PsyCLIENT-CP를 생성한다.
• 전문가 평가를 통해 궤적 기반 시뮬레이션이 진정성 및 훈련 효과를 향상시킨다는 것을 입증한다.]
• method:[
• 클라이언트 행동을 이산 다중레이블 공간으로 형식화하고 행동 궤적을 정의한다.
• 상담사 전략 공간과 클라이언트 행동에서 유효한 상담사 응답으로의 매핑을 정의한다.
• 클라이언트 프로필과 대상 행동 집합에 조건화되고 언어적 실현 L_B로 제약되는 발화를 생성하도록 G를 개발한다.
• 클라이언트 프로필, 대화 이력, 행동 라벨, 콘텐츠 제약을 포함하는 프롬프트 설계를 사용하여 LLM 기반 클라이언트 시뮬레이션을 수행한다.
• 실제 대화에서 행동 주석이 있는 대화 궤적을 추출하여 시뮬레이션을 안내한다.
• 60개 주제와 38,880개의 잠재적 클라이언트 인스턴스(120 프로필 × 324 궤적)로 PsyCLIENT-CP를 오픈소스화한다.

실험 결과

연구 질문

• RQ1 RQ1 진정성: 전문가 평가에 따라 PsyCLIENT 대화가 기준값보다 더 높은 진정성을 달성하는가?
• RQ2 RQ2 구별력: 전문가가 PsyCLIENT 대화를 인간-인간 대화나 기준 생성 대화와 구별할 수 있는가?
• RQ3 RQ3 효과성: 상담사들이 PsyCLIENT를 다른 방법들에 비해 훈련에 더 효과적이라고 평가하는가?

주요 결과

• PsyCLIENT는 유창성, 감정 표현, 일관성, 적합성 및 전반적 진정성 측면에서 vanilla, content, behavior 기준보다 더 높은 진정성을 달성한다.
• 궤적 내 행동 라벨링이 현실감에서 가장 큰 향상을 가져오며, 콘텐츠가 추가적이지만 더 작은 이점을 제공한다.
• 전문가들은 PsyCLIENT 대화를 인간-클라이언트 대화와 거의 구분하지 못한다(약 95%의 혼동율).
• PsyCLIENT는 경청, 질문, 감정 처리, 기법 실습 및 권고 측면에서 상담 효과성에서 기준값을 능가한다.
• 전문가 심사에서 PsyCLIENT에 대한 구별 정확도는 기회치 또는 그 근처로, 생성 대화의 높은 현실성을 시사한다.