[논문 리뷰] Structure Matters: Evaluating Multi-Agents Orchestration in Generative Therapeutic Chatbots

Sina Elahimanesh, Mohammadali Mohammadkhani외 4명|arXiv (Cornell University)|2026. 02. 28.

Digital Mental Health Interventions인용 수 0

한 줄 요약

본 연구는 세 가지 LLM 기반 치료용 챗봇 아키텍처(장기 기억을 가진 다에이전트 FSM, SAT 지식을 갖춘 단일 에이전트, 그리고 가이드되지 않은 GPT-4o)를 비교하고, 다에이전트 FSM 설계가 파르시어 SAT 기반 치료 맥락에서 대화가 훨씬 더 자연스럽고 인간에 가까우며 상호작용 품질이 더 좋음을 시사한다.

ABSTRACT

While large language models (LLMs) excel at open-ended dialogue, effective psychotherapy requires structured progression and adherence to clinical protocols, making the design of psychotherapist chatbots challenging. We investigate how different LLM-based designs shape perceived therapeutic dialogue in a chatbot grounded in the Self-Attachment Technique (SAT), a novel self-administered psychotherapy rooted in attachment theory. We compare three architectural variants: (1) a multi-agent system utilizing finite state machine aligned with therapeutic stages and a shared long-term memory, (2) a single-agent using identical knowledge-base and the same prompts, and (3) an unguided LLM. In an eight-day randomized controlled trial (RCT) with N=66 Farsi-speaking participants, balanced across the three chatbots, the multi-agent system is perceived as significantly more natural and human-like than the other variants and achieves higher ratings across most other metrics. These findings demonstrate that for therapeutic AI, architectural orchestration is as critical as prompt engineering in fostering natural, engaging dialogue.

연구 동기 및 목표

• LLM 기반 치료용 챗봇의 아키텍처 설계가 인지된 치료 품질에 어떤 영향을 미치는지 평가한다.
• 통제된 조건에서 세 가지 아키텍처(메모리를 갖춘 다에이전트 FSM; SAT 지식을 가진 단일 에이전트; 안내되지 않는 LLM)를 비교한다.
• 자연스러움, 신뢰, 공감, 기억, 만족도, 대화 집중도에 대한 영향을 검토한다.
• 아키텍처 구조가 대화 역학 및 참여에 어떤 메커니즘으로 작용하는지 조사한다.

제안 방법

• Alpha(메모리를 갖춘 다에이전트 FSM), Beta(SAT 콘텐츠를 가진 단일 에이전트), Gamma(안내되지 않는 단일 에이전트)로 배정된 N=66명의 참여자를 대상으로 한 3-조건 간무작위 대조시험.
• 모든 조건에서 기본 모델로 GPT-4o를 사용했으며, 프롬프트와 인터페이스는 동일했고 영어 프롬프트와 영어 디자인이었으나 파르시어로 배치했다.
• Alpha는 공유된 장기 기억과 개인화된 운동을 위한 적응형 Retrieval-Augmented Generation (RAG)을 갖춘 12-상태 SAT 정렬 FSM을 사용한다.
• Beta는 동일한 SAT 콘텐츠와 연습을 사용하지만 명시적 FSM 강제를 포함하지 않는 단일 프롬프트에 의존한다.
• Gamma는 SAT 지식이나 구조화된 목표가 없는 최소한의 LLM 설정을 제공한다.
• 종단 간 기억 요약이 생성되었고 달력 기반 모델이 Day 1에서 Day 8까지의 진행을 추적했다.

Figure 1. Overview of the user study comprising three phases: (1) recruitment and blinded RCT group assignment; (2) an eight-day study period during which participants interacted with one of three therapeutic chatbot versions, multi-agent FSM-based, single-agent with therapy knowledge, or unguided s

실험 결과

연구 질문

• RQ1 아키텍처 조정(메모리를 가진 다에이전트 FSM)이 단일 에이전트 SAT-활성화 시스템 및 안내되지 않은 LLM에 비해 인지된 자연스러움을 향상시키는가?
• RQ2 다양한 아키텍처에서 구체적으로 어떤 대화 역학(턴-테이킹, 메시지 길이, 에이전트/사용자 메시지 비율)이 나타나는가?
• RQ3 아키텍처 차이가 SAT 정보가 반영된 챗봇에서 신뢰, 공감, 기억의 일관성 및 만족도에 어느 정도 영향을 미치는가?
• RQ4 다른 시스템들이 8일간의 시험에서 치료적 진행과 기억 유지에 어떻게 부합하는가?

주요 결과

• Alpha는 Beta 및 Gamma보다 유의하게 더 자연스럽고 인간에 가까운 것으로 평가되었다(평균 3.955, 표준편차 0.950 vs 3.043, 표준편차 0.825 및 3.211, 표준편차 0.787).
• 통계 검정에서 F=7.017, p_perm=0.0018, eta^2=0.187로 나타나 아키텍처 설계가 평가 분산의 약 19%를 설명하는 것으로 해석되었다.
• Alpha는 더 많지만 짧은 메시지를 생성했다(총 459개 메시지; 약 230자) Beta(336; 약 409자) 및 Gamma(206; 약 635자)보다.
• Alpha 참가자들은 사용자 메시지를 평균적으로 더 짧게 보냈다(29.0자) Beta(38.9) 및 Gamma(42.8)보다.
• Alpha의 대화 역학은 에이전트 대 사용자 메시지 비율이 더 낮게 나타났으며(7.9:1) Beta(10.5:1) 및 Gamma(13.4:1)보다.
• 표 1은 Alpha가 대부분의 상호작용 지표에서 Beta 및 Gamma를 능가하며 특히 자연스러움에서 두드러지게 나타났고; 사용성 척도는 조건 간에 비슷했다.

Figure 2. Screenshot of the web-based user interface of the chatbot. After logging in, users are directed to the home screen where they can start interacting with the chatbot. (A) shows the list of user messages and corresponding chatbot responses. (B) is the input area for composing and sending mes