[논문 리뷰] Orchestration-Free Customer Service Automation: A Privacy-Preserving and Flowchart-Guided Framework

Mengze Hong, Chen Jason Zhang외 4명|arXiv (Cornell University)|2026. 02. 17.

Business Process Modeling and Analysis인용 수 0

한 줄 요약

이 논문은 Task-Oriented Flowcharts(TOFs)를 이용한 엔드투엔드 고객 서비스 자동화를 위한 오케스트레이션 없는 프라이버시 보존 프레임워크를 제안하며, 대화에서 흐름도로의 구성과 로컬에서 소형 언어 모델을 학습시키는 2단계 대화-흐름도 구성 방법과 분산 증류를 제시한다.

ABSTRACT

Customer service automation has seen growing demand within digital transformation. Existing approaches either rely on modular system designs with extensive agent orchestration or employ over-simplified instruction schemas, providing limited guidance and poor generalizability. This paper introduces an orchestration-free framework using Task-Oriented Flowcharts (TOFs) to enable end-to-end automation without manual intervention. We first define the components and evaluation metrics for TOFs, then formalize a cost-efficient flowchart construction algorithm to abstract procedural knowledge from service dialogues. We emphasize local deployment of small language models and propose decentralized distillation with flowcharts to mitigate data scarcity and privacy issues in model training. Extensive experiments validate the effectiveness in various service tasks, with superior quantitative and application performance compared to strong baselines and market products. By releasing a web-based system demonstration with case studies, we aim to promote streamlined creation of future service automation.

연구 동기 및 목표

• 서비스 자동화를 위한 절차적 지침을 제공하는 TOF(Task-Oriented Flowchart) 구조를 정의한다.
• 대표 샘플링과 반복적 흐름도 구성을 통해 서비스 대화로부터 TOF를 구성하는 비용 효율적 방법을 개발한다.
• 흐름도 유도 프롬프트와 분산 증류를 통해 로컬에서 소형 언어 모델을 학습시켜 오케스트레이션 없는 자동화를 가능하게 한다.
• 다수의 서비스 작업 및 데이터세트에 대해 정량적 벤치마크와 정성적 평가를 통해 TOF를 검증한다.
• 실용적 배치를 보여주는 웹 기반 시스템 시연을 공개하고 향후 연구를 안내한다.

제안 방법

• 방향 간선과 Mermaid-호환 표현을 갖춘 다섯 노드 TOF 스키마(Start, Action/Decision, Output, Reflection, End)를 도입한다.
• 의미 매칭과 경로 완전성을 기반으로 한 흐름도 평가 지표로 Utterance Matching Ratio(UMR)와 Complete Path Coverage(CPC)를 정식화한다.
• 두 단계 접근 방식으로 Weighted Dialogue Intent Coverage(WDIC)를 해결한다: (i) 대화에서 의도를 커버하기 위한 무작위화/링딩 기반 선택; (ii) 로컬 소형 언어 모델(SLM)에 의해 구동되는 도메인 인지적 흐름도 구성의 반복적 처리.
• 도메인 분류기, 의도 기술 추출기, 노드 유형화기의 세 가지 오라클과 ILP 기반 또는 LP 라운딩 대화 선택 파이프라인을 활용하여 대화 데이터로부터 TOFs를 구성한다.
• 흐름도 가이드 프롬프트(flowchart-aware prompts)와 활성 노드 추적(active node tracking)을 포함하는 흐름도 유도 프롬프트를 제안하고, 전역 흐름도에서 합성 데이터를 생성하는 로컬 데이터 학습용 분산 흐름도 증류 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 TOF가 에이전트 오케스트레이션의 필요성을 줄이면서 엔드-투-엔드 고객 서비스 자동화를 위한 포괄적 절차 지침을 제공할 수 있는가?
• RQ2 의도와 대화 경로의 커버리지를 보장하면서 TOFs를 서비스 대화로부터 비용 효율적으로 구축할 수 있는가?
• RQ3 흐름도 가이드 프롬프트와 분산 증류가 소형의 로컬 배치 모델로 높은 작업 완료를 가능하게 하는가?
• RQ4 기존의 학습 기반 및 프롬팅 기반 기준선과 비교했을 때 벤치마크 TOD 작업에서 흐름도가 어떻게 성능을 보이며, 실제 외부 발신 서비스 환경에서의 성능은 어떠한가?
• RQ5 분산 학습 환경에서 TOF가 제공하는 프라이버시 보호 및 실용성 이점은 무엇인가?

주요 결과

방법	MultiWOZ 정보	MultiWOZ 성공	MultiWOZ 예약	SGD 정보	SGD 성공
SimpleTOD	84.4	70.1	-	12.7	9.8
UBAR	83.4	70.3	-	-	-
GALAXY	85.4	75.7	-	-	-
Mars	88.9	78.0	-	-	-
SGP-TOD (GPT3.5)	83.9	69.9	-	-	-
AutoTOD (GPT-4)	87.2	82.8	81.4	45.1	23.0
ProTOD (GPT-3.5)	91.7	83.3	87.0	50.4	24.9
Flowchart-Guided (GPT-3.5)	88.3	84.6	91.4	46.3	26.8
Flowchart-Guided (LLaMA-8B)	84.7	85.9	90.7	42.5	25.4

• TOFs는 오케스트레이션 없이 작업을 조정하고 분산 데이터 처리 및 합성 데이터 생성을 통해 프라이버시를 유지한다.
• 대화로부터의 반복적 흐름도 구성은 MultiWoZ 2.0 및 SGD에서 강력한 CPC와 UMR을 달성하며, 커버리지 지표에서 종종 인간 주석 및 추상화 기반 기준선보다 우수하다.
• LLaMA-3-8B 및 GPT-3.5 기반 프롬프트를 활용한 흐름도 유도 프롬프트는 벤치마크 TOD 데이터 세트에서 여러 기준선에 비해 경쟁력 있는 또는 우수한 작업 성공률과 완료율을 보인다.
• 외부 은행 배치에서 로컬에서 생성된 합성 데이터로 학습된 분산 흐름도 증류 파이프라인은 상용 기준선보다 Exemplary Rate 및 Completion Rate에서 우수하여 실제 배포의 실용적 이점을 시사한다.
• 이 접근법은 흐름도 기반 절차 지시에 의해 작동할 때 더 작은 오픈 소스 모델이 더 큰 독점 모델에 필적하거나 능가할 수 있음을 보여준다.