[논문 리뷰] Beyond IVR: Benchmarking Customer Support LLM Agents for Business-Adherence
JourneyBench는 정책 준수 LLM 에이전트를 고객 지원에서 평가하기 위해 그래프 기반 SOP를 도입합니다. 다이나믹 프롬프트 오케스트레이션은 준수를 개선하고 더 작은 모델이 정책 준수에서 더 큰 모델을 능가하도록 만듭니다.
Traditional customer support systems, such as Interactive Voice Response (IVR), rely on rigid scripts and lack the flexibility required for handling complex, policy-driven tasks. While large language model (LLM) agents offer a promising alternative, evaluating their ability to act in accordance with business rules and real-world support workflows remains an open challenge. Existing benchmarks primarily focus on tool usage or task completion, overlooking an agent's capacity to adhere to multi-step policies, navigate task dependencies, and remain robust to unpredictable user or environment behavior. In this work, we introduce JourneyBench, a benchmark designed to assess policy-aware agents in customer support. JourneyBench leverages graph representations to generate diverse, realistic support scenarios and proposes the User Journey Coverage Score, a novel metric to measure policy adherence. We evaluate multiple state-of-the-art LLMs using two agent designs: a Static-Prompt Agent (SPA) and a Dynamic-Prompt Agent (DPA) that explicitly models policy control. Across 703 conversations in three domains, we show that DPA significantly boosts policy adherence, even allowing smaller models like GPT-4o-mini to outperform more capable ones like GPT-4o. Our findings demonstrate the importance of structured orchestration and establish JourneyBench as a critical resource to advance AI-driven customer support beyond IVR-era limitations.
연구 동기 및 목표
- rigid IVR 시스템을 넘어 비즈니스 규칙을 따르는 자율 LLM 파워 에이전트로의 이동을 자극합니다.
- REALISTIC 지원 워크플로우에서 다단계 정책 준수와 작업 종속성을 포착합니다.
- varied 시나리오에서 에이전트의 SOP 준수도에 대한 확장 가능한 벤치마크를 제공합니다.
- 구조화된 워크플로우 오케스트레이션의 생산 준비 AI 에이전트에 미치는 이점을 입증합니다.]
- method_from_original
제안 방법
- SOP를 노드가 작업이고 조건부 간선인 DAG(Directed Acyclic Graph)로 표현합니다.
- 다중 단계 LLM 주도 파이프라인과 인간 검증을 통해 합성 SOP 그래프와 사용자 여정을 생성합니다.
- SOP에 의해 규정된 행동 시퀀스 준수를 측정하기 위해 User Journey Coverage Score (UJCS)를 정의합니다.
- 정적 프롬프트 에이전트(SPA)와 동적 프롬프트 에이전트(DPA) 설계를 비교합니다. DPA는 워크플로우 상태를 관리하는 오케스트레이터를 사용합니다.
- 세 가지 도메인(이커머스, 대출 신청, 통신)에서 703대화에 걸쳐 에이전트를 평가합니다.
- 입력 누락 및 도구 고장 등 시나리오로 강건성을 평가합니다; 생산과 유사한 QA 및 실제 배포를 기반으로 평가를 확인합니다.

실험 결과
연구 질문
- RQ1정책 인지형 에이전트는 작업 종속성과 분기 로직을 인코딩한 그래프 기반 SOP로 신뢰성 있게 평가될 수 있습니까?
- RQ2실시간 고객 지원 작업에서 동적 프롬프트 오케스트레이션(DPA)이 정책 준수를 정적 프롬프트(SPA)보다 향상시키나요?
- RQ3구조화된 워크플로우 제어 하에서 다양한 크기의 LLM은 일반적인 교란(입력 누락, 도구 고장)을 처리할 때 어떻게 성능을 발휘하나요?
- RQ4JourneyBench의 평가 프레임워크가 생산 행동 및 QA 표준과 일치합니까?
주요 결과
- 동적 프롬프트 에이전트(DPA)가 정적 프롬프트 에이전트(SPA)보다 정책 준수에서 상당히 높은 성과를 보입니다.
- GPT-4o가 DPA를 사용할 때 UJCS가 평균 0.717인 반면 SPA는 0.564입니다.
- 작은 모델(GPT-4o-mini)이 DPA를 사용할 경우 0.649로 더 큰 모델의 SPA(...) 0.564를 능가합니다.
- JourneyBench는 세 도메인에서 703대화를 보고하며, 평균 10.91턴, 대화당 3.34개의 도구 호출, 총 41개 도구를 사용합니다.
- 생산 환경에서 DPA 기반 오케스트레이션은 고객 컨택센터에서 일일 6,000건 이상의 전화 처리를 안정적으로 수행합니다.
- 합성 대화는 전반적 QA 현실성 84.37%를 달성했으며(대화 능숙도 82.33%, 목표 달성 87.78%), 생산 QA 분포와 동등합니다.

이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.