[论文解读] DuCCAE: A Hybrid Engine for Immersive Conversation via Collaboration, Augmentation, and Evolution

Xin Shen, Zhishu Jiang+14 more|arXiv (Cornell University)|Feb 25, 2026

Social Robot Interaction and HRI被引用 0

一句话总结

DuCCAE 将实时响应与异步代理推理解耦，实现在长时任务中的沉浸式对话，提升在百度搜索中的可靠性与生产规模效能。

ABSTRACT

Immersive conversational systems in production face a persistent trade-off between responsiveness and long-horizon task capability. Real-time interaction is achievable for lightweight turns, but requests involving planning and tool invocation (e.g., search and media generation) produce heavy-tail execution latency that degrades turn-taking, persona consistency, and user trust. To address this challenge, we propose DuCCAE (Conversation while Collaboration with Augmentation and Evolution), a hybrid engine for immersive conversation deployed within Baidu Search, serving millions of users. DuCCAE decouples real-time response generation from asynchronous agentic execution and synchronizes them via a shared state that maintains session context and execution traces, enabling asynchronous results to be integrated back into the ongoing dialogue. The system orchestrates five subsystems-Info, Conversation, Collaboration, Augmentation, and Evolution-to support multi-agent collaboration and continuous improvement. We evaluate DuCCAE through a comprehensive framework that combines offline benchmarking on the Du-Interact dataset and large-scale production evaluation within Baidu Search. Experimental results demonstrate that DuCCAE outperforms strong baselines in agentic execution reliability and dialogue quality while reducing latency to fit strict real-time budgets. Crucially, deployment metrics since June 2025 confirm substantial real-world effectiveness, evidenced by a tripling of Day-7 user retention to 34.2% and a surge in the complex task completion rate to 65.2%. Our hybrid architecture successfully preserves conversational continuity while enabling reliable agentic execution, offering practical guidelines for deploying scalable agentic systems in industrial settings.

研究动机与目标

• 解决沉浸式对话系统中实时响应与长时任务能力之间的张力。
• 提出一个延迟解耦架构，将快速实时响应与异步代理推理同步起来。
• 开发一个不断演进、数据驱动的管线，通过自动化和人工在环评估持续改进系统性能。
• 在大规模工业场景（百度搜索）中部署并评估系统，以展示生产可行性和商业影响。

提出的方法

• 引入一个双轨数据流：Fast Track 提供实时响应，Slow Track 进行异步推理。
• 实现 Unified Shared State，以在不打断沉浸感的前提下同步两轨输出。
• 编排五个子系统（Info、Conversation、Collaboration、Augmentation、Evolution），用于感知、路由、多代理规划、工具使用与学习。
• 使用 Retrieval-Augmented Generation (RAG) 和 Model Context Protocol (MCP) 将输出以外部知识与工具进行锚定。
• 采用带数据轮机的 Evolution System，通过自动化评估、SFT 和 RL 持续改进代理。

实验结果

研究问题

• RQ1 一个延迟解耦、双轨架构在实现可靠长时工具使用的同时，是否能保持对话连续性？
• RQ2 进化的、领域特定训练是否能使中等规模模型在复杂任务执行上超越更大、通用模型？
• RQ3 在生产环境中，多代理协作系统对异步规划与执行有什么好处？
• RQ4 记忆分离（用户记忆与代理记忆）如何影响角色一致性与用户信任？
• RQ5 在大规模部署中，哪些生产级指标（保留率、复杂任务完成率）能因该系统而提升？

主要发现

• Fast Track 可实现亚秒级响应，同时 Slow Track 支持异步协作。
• 在生产环境中，Day-7 用户留存提升至 34.2%，复杂任务完成率提升至 65.2%。
• DuCCAE-V3 达到 82.5% 派遣精度、72.4% 成功率与 71.1% 保真度，平均延迟为 1,880 ms。
• 带有 SFT 与 RL 的 Evolutionary 数据（Du-Interact-Evo）在 SR 中显著优于更大、基线模型（如 70B） 。
• 基于字幕的视觉到文本的描述法能够将视觉感知消融带来77% 的延迟减少（480 ms 对 2100 ms）。
• 系统支持更长的对话（平均会话轮数从 4.2 增至 12.5）且在不牺牲沉浸感的情况下实现更高的任务成功率。