Skip to main content
QUICK REVIEW

[논문 리뷰] Beyond IVR: Benchmarking Customer Support LLM Agents for Business-Adherence

Sumanth Balaji, Piyush Mishra|arXiv (Cornell University)|2026. 01. 02.
AI in Service InteractionsComputer Science인용 수 0
한 줄 요약

JourneyBench는 정책 준수 LLM 에이전트를 고객 지원에서 평가하기 위해 그래프 기반 SOP를 도입합니다. 다이나믹 프롬프트 오케스트레이션은 준수를 개선하고 더 작은 모델이 정책 준수에서 더 큰 모델을 능가하도록 만듭니다.

ABSTRACT

Traditional customer support systems, such as Interactive Voice Response (IVR), rely on rigid scripts and lack the flexibility required for handling complex, policy-driven tasks. While large language model (LLM) agents offer a promising alternative, evaluating their ability to act in accordance with business rules and real-world support workflows remains an open challenge. Existing benchmarks primarily focus on tool usage or task completion, overlooking an agent's capacity to adhere to multi-step policies, navigate task dependencies, and remain robust to unpredictable user or environment behavior. In this work, we introduce JourneyBench, a benchmark designed to assess policy-aware agents in customer support. JourneyBench leverages graph representations to generate diverse, realistic support scenarios and proposes the User Journey Coverage Score, a novel metric to measure policy adherence. We evaluate multiple state-of-the-art LLMs using two agent designs: a Static-Prompt Agent (SPA) and a Dynamic-Prompt Agent (DPA) that explicitly models policy control. Across 703 conversations in three domains, we show that DPA significantly boosts policy adherence, even allowing smaller models like GPT-4o-mini to outperform more capable ones like GPT-4o. Our findings demonstrate the importance of structured orchestration and establish JourneyBench as a critical resource to advance AI-driven customer support beyond IVR-era limitations.

연구 동기 및 목표

  • rigid IVR 시스템을 넘어 비즈니스 규칙을 따르는 자율 LLM 파워 에이전트로의 이동을 자극합니다.
  • REALISTIC 지원 워크플로우에서 다단계 정책 준수와 작업 종속성을 포착합니다.
  • varied 시나리오에서 에이전트의 SOP 준수도에 대한 확장 가능한 벤치마크를 제공합니다.
  • 구조화된 워크플로우 오케스트레이션의 생산 준비 AI 에이전트에 미치는 이점을 입증합니다.]
  • method_from_original

제안 방법

  • SOP를 노드가 작업이고 조건부 간선인 DAG(Directed Acyclic Graph)로 표현합니다.
  • 다중 단계 LLM 주도 파이프라인과 인간 검증을 통해 합성 SOP 그래프와 사용자 여정을 생성합니다.
  • SOP에 의해 규정된 행동 시퀀스 준수를 측정하기 위해 User Journey Coverage Score (UJCS)를 정의합니다.
  • 정적 프롬프트 에이전트(SPA)와 동적 프롬프트 에이전트(DPA) 설계를 비교합니다. DPA는 워크플로우 상태를 관리하는 오케스트레이터를 사용합니다.
  • 세 가지 도메인(이커머스, 대출 신청, 통신)에서 703대화에 걸쳐 에이전트를 평가합니다.
  • 입력 누락 및 도구 고장 등 시나리오로 강건성을 평가합니다; 생산과 유사한 QA 및 실제 배포를 기반으로 평가를 확인합니다.
Figure 1: Example SOP graph for loan application processing, showing sequential tasks and decision points.
Figure 1: Example SOP graph for loan application processing, showing sequential tasks and decision points.

실험 결과

연구 질문

  • RQ1정책 인지형 에이전트는 작업 종속성과 분기 로직을 인코딩한 그래프 기반 SOP로 신뢰성 있게 평가될 수 있습니까?
  • RQ2실시간 고객 지원 작업에서 동적 프롬프트 오케스트레이션(DPA)이 정책 준수를 정적 프롬프트(SPA)보다 향상시키나요?
  • RQ3구조화된 워크플로우 제어 하에서 다양한 크기의 LLM은 일반적인 교란(입력 누락, 도구 고장)을 처리할 때 어떻게 성능을 발휘하나요?
  • RQ4JourneyBench의 평가 프레임워크가 생산 행동 및 QA 표준과 일치합니까?

주요 결과

  • 동적 프롬프트 에이전트(DPA)가 정적 프롬프트 에이전트(SPA)보다 정책 준수에서 상당히 높은 성과를 보입니다.
  • GPT-4o가 DPA를 사용할 때 UJCS가 평균 0.717인 반면 SPA는 0.564입니다.
  • 작은 모델(GPT-4o-mini)이 DPA를 사용할 경우 0.649로 더 큰 모델의 SPA(...) 0.564를 능가합니다.
  • JourneyBench는 세 도메인에서 703대화를 보고하며, 평균 10.91턴, 대화당 3.34개의 도구 호출, 총 41개 도구를 사용합니다.
  • 생산 환경에서 DPA 기반 오케스트레이션은 고객 컨택센터에서 일일 6,000건 이상의 전화 처리를 안정적으로 수행합니다.
  • 합성 대화는 전반적 QA 현실성 84.37%를 달성했으며(대화 능숙도 82.33%, 목표 달성 87.78%), 생산 QA 분포와 동등합니다.
Figure 2: Components within a single node: the task description (prompt), available tools for execution, and conditional pathways (edges) that define transitions to the next node based on outcomes.
Figure 2: Components within a single node: the task description (prompt), available tools for execution, and conditional pathways (edges) that define transitions to the next node based on outcomes.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.