[論文レビュー] Orchestration-Free Customer Service Automation: A Privacy-Preserving and Flowchart-Guided Framework

Mengze Hong, Chen Jason Zhang+4 more|arXiv (Cornell University)|Feb 17, 2026

Business Process Modeling and Analysis被引用数 0

ひとこと要約

この論文は、Task-Oriented Flowcharts（TOFs）を用いたエンドツーエンドの顧客サービス自動化のためのオーケストレーション不要でプライバシー保護されたフレームワークを提案し、対話からフローチャートを構築する二段階の方法と分散蒸留によってローカルで小型言語モデルを訓練する。

ABSTRACT

Customer service automation has seen growing demand within digital transformation. Existing approaches either rely on modular system designs with extensive agent orchestration or employ over-simplified instruction schemas, providing limited guidance and poor generalizability. This paper introduces an orchestration-free framework using Task-Oriented Flowcharts (TOFs) to enable end-to-end automation without manual intervention. We first define the components and evaluation metrics for TOFs, then formalize a cost-efficient flowchart construction algorithm to abstract procedural knowledge from service dialogues. We emphasize local deployment of small language models and propose decentralized distillation with flowcharts to mitigate data scarcity and privacy issues in model training. Extensive experiments validate the effectiveness in various service tasks, with superior quantitative and application performance compared to strong baselines and market products. By releasing a web-based system demonstration with case studies, we aim to promote streamlined creation of future service automation.

研究の動機と目的

• サービス自動化の手続き指針を提供するTOF（Task-Oriented Flowchart）構造を定義する。
• 代表的サンプリングと反復的なフローチャート構築を通じて、サービス対話からTOFを構築するコスト効率の良い方法を開発する。
• フローチャートに基づくプロンプティングと分散蒸留によって、ローカルで小型言語モデルを訓練し、オーケストレーション不要な自動化を実現する。
• 複数のサービスタスクとデータセットを横断してTOFを定量的ベンチマークと定性的評価で検証する。
• 実用的なデプロイを示すウェブベースのシステムデモを公開し、今後の研究を示唆する。

提案手法

• Start, Action/Decision, Output, Reflection, End）という5ノードTOFスキーマを有向エッジとMermaid互換表現で導入する。
• 意味的マッチングと経路の完全性に基づくフローチャート評価指標として、Utterance Matching Ratio（UMR）とComplete Path Coverage（CPC）を定式化する。
• WDIC（Weighted Dialogue Intent Coverage）を以下の2段階で解く：(i) 対話集合から意図をカバーするための乱択/丸めベースの選択、(ii) ローカルの小型言語モデル（SLM）によって推進される反復的・ドメイン認識的フローチャート構築。
• 対話データからTOFを、3つのオラクル（ドメイン分類器、意図記述子抽出器、ノード型決定器）とILPベースまたはLP丸め処理による対話選択パイプラインを用いて、コスト効率よくカバーする。
• Flowchart-guided prompting（フローチャート対応プロンプトとアクティブノード追跡）と分散型フローチャート蒸留フレームワークを提案し、グローバルなフローチャートから合成データを生成しつつローカルデータで軽量モデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 TOFはエンドツーエンドの顧客サービス自動化に対して、エージェントのオーケストレーションの必要性を低減しつつ包括的な手続き指針を提供できるか。
• RQ2 TOFをサービス対話からコスト効率良く構築し、意図と対話経路のカバーを保証できるか。
• RQ3 フローチャートに基づくプロンプティングと分散蒸留は、小型でローカル展開されたモデルで高いタスク完遂を可能にするか。
• RQ4 フローチャートは、ベンチマークTODタスクで既存の訓練・プロンプティングベースのベースラインと比較してどの程度実績を示すか、実際の外部サービス設定ではどうか。
• RQ5 分散学習環境におけるTOFが提供するプライバシー保護と実用性のメリットは何か。

主な発見

Method	MultiWOZ Inform	MultiWOZ Success	MultiWOZ Book	SGD Inform	SGD Success
SimpleTOD	84.4	70.1	-	12.7	9.8
UBAR	83.4	70.3	-	-	-
GALAXY	85.4	75.7	-	-	-
Mars	88.9	78.0	-	-	-
SGP-TOD (GPT3.5)	83.9	69.9	-	-	-
AutoTOD (GPT-4)	87.2	82.8	81.4	45.1	23.0
ProTOD (GPT-3.5)	91.7	83.3	87.0	50.4	24.9
Flowchart-Guided (GPT-3.5)	88.3	84.6	91.4	46.3	26.8
Flowchart-Guided (LLaMA-8B)	84.7	85.9	90.7	42.5	25.4

• TOFsはオーケストレーション不要のタスク調整を可能にし、分散データ処理と合成データ生成を通じてプライバシーを保護する。
• 対話からの反復的フローチャート構築は、MultiWoZ 2.0と SGD で強力な CPC と UMR を実現し、しばしば人間が注釈した基準や抽象化ベースのベースラインをカバー指標で上回る。
• Flowchart-guided prompting（Flowchart-Guided prompting）とLLaMA-3-8BおよびGPT-3.5ベースのプロンプトは、複数のベースラインに対して、ベンチマーク TOD データセットで競争力のあるまたは優れたタスク成功率と完遂率を示す。
• アウトバウンド銀行業務展開において、ローカル生成データで訓練された分散型フローチャート蒸留パイプラインは商用ベースラインをExemplary RateとCompletion Rateで上回り、実世界展開の実用的利点を示す。
• この手法は、フローチャートに基づく手続き priors に導かれる場合、より小さなオープンソースモデルが大規模な独自モデルと同等かそれ以上を達成できることを示している。