[논문 리뷰] DarwinTOD: LLM Driven Lifelong Self Evolution for Task Oriented Dialog Systems

Shuyu Zhang, Liu Yu-jie외 4명|arXiv (Cornell University)|2026. 01. 12.

Speech and dialogue systems인용 수 0

한 줄 요약

DarwinTOD은 진화계산과 LLM 기반 전략 최적화를 결합하고, 작업 특화 미세조정 없이 대화 전략을 자율적으로 개선하는 Evolvable Strategy Bank를 유지하는 평생 자기-진화형 작업지향 대화 프레임워크를 제시한다.

ABSTRACT

Traditional task-oriented dialog systems are unable to evolve from ongoing interactions or adapt to new domains after deployment, that is a critical limitation in real-world dynamic environments. Continual learning approaches depend on episodic retraining with human curated data, failing to achieve autonomy lifelong improvement. While evolutionary computation and LLM driven self improvement offer promising mechanisms for dialog optimization, they lack a unified framework for holistic, iterative strategy refinement. To bridge this gap, we propose DarwinTOD, a lifelong self evolving dialog framework that systematically integrates these two paradigms, enabling continuous strategy optimization from a zero-shot base without task specific fine-tuning. DarwinTOD maintains an Evolvable Strategy Bank and operates through a dual-loop process: online multi-agent dialog execution with peer critique, and offline structured evolutionary operations that refine the strategy bank using accumulated feedback. This closed-loop design enables autonomous continuous improvement without human intervention. Extensive experiments show that DarwinTOD surpasses previous state-of-the-art methods and exhibits continuous performance gains throughout evolution. Our work provides a novel framework for building dialog systems with lifelong self evolution capabilities.

연구 동기 및 목표

• 동적 실제 환경에서 TOD 시스템에서 자율적 평생 개선의 필요성을 동기화한다.
• 인간 데이터 큐레이션이나 미세조정 없이 대화 전략을 진화시키는 듀얼 루프 DarwinTOD 프레임워크를 제안한다.
• 전략을 시간에 따라 최적화하기 위해 Evolvable Strategy Bank(ESB)와 구조화된 오프라인-온라인 진화를 소개한다.
• 표준 TOD 벤치마크에서 최첨단 성능을 보여주고 진화를 통한 지속적 이점을 시연한다.

제안 방법

• TOD를 POMDP로 형식화하고 전략 진화를 마르코프 체인으로 모델링한다.
• 경쟁 대화 전략을 저장·관리하는 Evolvable Strategy Bank(ESB)를 개발한다.
• 온라인 실행을 네 가지 LLM 에이전트(DST, DP, NLG, UserSim)와 Boltzmann 기반 전략 검색으로 구현한다.
• 대화 궤적과 비판을 통해 오프라인 피드백을 수집하여 네 가지 진화 연산자(Genesis, Mutation, Consolidation, Pruning)를 주도한다.
• 온라인 다중 에이전트 대화 실행과 피어 비판의 듀얼 루프 프로세스, 오프라인 진화를 통해 ESB를 업데이트한다.
• MultiWOZ 2.0/2.1/2.2 및 SGD 데이터셋으로 평가하고 강력한 TOD 벤치마크와 비교한다.

실험 결과

연구 질문

• RQ1 TOD 시스템이 작업 특화 미세조정이나 인간 큐레이션 데이터 없이도 자율적 평생 자기 진화를 달성할 수 있는가?
• RQ2 Evolvable Strategy Bank와 듀얼 루프 온라인-오프라인 프레임워크가 다도메인, 다턴 TOD 작업에서 지속적 성능 향상을 가져올 수 있는가?
• RQ3 evolutionary 연산자와 Boltzmann 선택이 TOD 전략의 다양성 유지 및 조기 수렴 방지에 미치는 영향은 무엇인가?
• RQ4 진화된 전략이 도메인별로 전문화되고 현실 세계와 유사한 배치에서 안전성, 해석가능성, 사용자 경험을 어떻게 개선하는가?

주요 결과

모델	MultiWOZ 2.0 정보	MultiWOZ 2.0 성공	MultiWOZ 2.0 BLEU	MultiWOZ 2.0 결합	MultiWOZ 2.1 정보	MultiWOZ 2.1 성공	MultiWOZ 2.1 BLEU	MultiWOZ 2.1 결합	MultiWOZ 2.2 정보	MultiWOZ 2.2 성공	MultiWOZ 2.2 BLEU	MultiWOZ 2.2 결합
DarwinTOD (Llama3-8B)	96.92	89.14	21.83	114.86	98.73	91.42	19.96	115.04	92.58	83.97	17.98	106.26
DarwinTOD (Qwen2.5-7B)	97.63	90.28	21.55	115.51	98.92	91.85	20.18	115.57	92.14	84.33	18.34	106.58
DarwinTOD (Qwen3-8B)	98.34	92.86	21.74	117.34	99.62	94.18	20.33	117.23	94.73	87.25	18.41	109.40
DarwinTOD (GPT-5.1)	99.10	96.20	22.94	120.59	99.40	96.50	22.19	120.14	96.48	90.12	21.98	115.28

• DarwinTOD는 MultiWOZ 2.0/2.1/2.2 벤치마크에서 최첨단 성능을 달성한다.
• 세대 간 성능이 단조롭게 향상되며 평생 진화가 성공적으로 작용함을 보여준다.
• 피어 비판이 있는 온라인 추론과 오프라인 진화가 베이스라인 및 애플리에이션 대비에서 상당히 우수하다.
• Consolidation과 pruning으로 ESB를 컴팩트하게 유지하면서도 고성능 전략을 보존한다.
• Boltzmann 기반 선택이 탐색과 활용의 균형에서 roulette, random, epsilon-greedy 변형보다 우수하다.
• 인간 연구에서 진화된 전략이 안전하고 해석 가능하며 실제 사용자 성공률을 향상시킨다.