[논문 리뷰] DuCCAE: A Hybrid Engine for Immersive Conversation via Collaboration, Augmentation, and Evolution

Xin Shen, Zhishu Jiang외 14명|arXiv (Cornell University)|2026. 02. 25.

Social Robot Interaction and HRI인용 수 0

한 줄 요약

DuCCAE는 실시간 응답을 비동기적 에이전시 실행과 분리하여 몰입형 대화와 장기적 과제 수행을 가능하게 하며 Baidu 검색에서 신뢰성과 생산 규모의 효과를 개선합니다.

ABSTRACT

Immersive conversational systems in production face a persistent trade-off between responsiveness and long-horizon task capability. Real-time interaction is achievable for lightweight turns, but requests involving planning and tool invocation (e.g., search and media generation) produce heavy-tail execution latency that degrades turn-taking, persona consistency, and user trust. To address this challenge, we propose DuCCAE (Conversation while Collaboration with Augmentation and Evolution), a hybrid engine for immersive conversation deployed within Baidu Search, serving millions of users. DuCCAE decouples real-time response generation from asynchronous agentic execution and synchronizes them via a shared state that maintains session context and execution traces, enabling asynchronous results to be integrated back into the ongoing dialogue. The system orchestrates five subsystems-Info, Conversation, Collaboration, Augmentation, and Evolution-to support multi-agent collaboration and continuous improvement. We evaluate DuCCAE through a comprehensive framework that combines offline benchmarking on the Du-Interact dataset and large-scale production evaluation within Baidu Search. Experimental results demonstrate that DuCCAE outperforms strong baselines in agentic execution reliability and dialogue quality while reducing latency to fit strict real-time budgets. Crucially, deployment metrics since June 2025 confirm substantial real-world effectiveness, evidenced by a tripling of Day-7 user retention to 34.2% and a surge in the complex task completion rate to 65.2%. Our hybrid architecture successfully preserves conversational continuity while enabling reliable agentic execution, offering practical guidelines for deploying scalable agentic systems in industrial settings.

연구 동기 및 목표

• 몰입형 대화 시스템에서 실시간 응답성와 장기 지향 과제 능력 간의 긴장을 해결한다.
• 빠른 실시간 응답과 비동기적 에이전시적 추론을 동기화하는 지연 분리 아키텍처를 제안한다.
• 자동화 및 인간-루프 평가를 통한 시스템 성능을 지속적으로 향상시키는 진화적이고 데이터 기반의 파이프라인을 개발한다.
• 대규모 산업 현장(바이두 검색)에서 시스템을 배치하고 평가하여 생산 가능성과 비즈니스 영향을 입증한다.

제안 방법

• 실시간 응답용 Fast Track와 비동기 추론용 Slow Track이 있는 이중 트랙 데이터 흐름을 도입한다.
• 몰입감을 해치지 않으면서 두 트랙의 출력을 동기화하기 위한 Unified Shared State를 구현한다.
• 지각, 라우팅, 다중 에이전트 계획, 도구 사용 및 학습을 위해 다섯 개의 하위 시스템(Info, Conversation, Collaboration, Augmentation, Evolution)을 연동한다.
• 외부 지식과 도구로 출력을 구체화하기 위해 Retrieval-Augmented Generation(RAG)과 Model Context Protocol(MCP)을 사용한다.
• 에이전트를 지속적으로 개선하기 위해 자동 평가, SFT, 및 RL을 포함한 데이터 플라이휠이 있는 Evolution System을 사용한다.

실험 결과

연구 질문

• RQ1 지연 분리된 이중 트랙 아키텍처가 대화의 연속성을 유지하면서 신뢰할 수 있는 장기 도구 사용을 가능하게 할 수 있는가?
• RQ2 진화적이고 도메인 특화된 학가 학습이 중형 모델이 복잡한 작업 실행에서 더 큰 일반-purpose 모델을 능가하게 하는가?
• RQ3 생산 현장에서 비동기적 계획 및 실행을 위한 다중 에이전트 협업 시스템의 이점은 무엇인가?
• RQ4 메모리 분리(사용자 메모리 vs 에이전트 메모리)가 시간에 따른 페르소나 일관성과 사용자 신뢰에 어떤 영향을 미치는가?
• RQ5 대규모 배치에서 이러한 시스템으로 어떤 생산 수준의 지표(유지율, 복잡한 작업 완료)가 향상되는가?

주요 결과

• DuCCAE는 Fast Track에서 초단위 이하 응답을 달성하고 Slow Track에서 비동기 협업을 가능하게 한다.
• 생산 현장에서 Day-7 사용자 유지율은 34.2%로 3배 증가했고 복잡한 작업 완료율은 65.2%로 상승했다.
• DuCCAE-V3는 82.5% 배분 정밀도, 72.4% 성공률, 71.1% 충실도, 평균 지연 1,880 ms를 달성한다.
• SFT 및 RL이 포함된 Evolutionary 데이터(Du-Interact-Evo)가 SR에서 더 큰 기본 모델(예: 70B)보다 성능을 크게 향상시킨다.
• 시각 인지 제거 연구에서 자막 기반 시각-텍스트 변환 방법을 사용할 때 지연 시간이 77% 감소한다(480 ms 대 2100 ms).
• 시스템은 몰입감을 해치지 않으면서 더 긴 대화를 유지하며(평균 세션 턴 수 4.2에서 12.5로), 더 높은 작업 성공률을 보인다.