[論文レビュー] DarwinTOD: LLM Driven Lifelong Self Evolution for Task Oriented Dialog Systems

Shuyu Zhang, Liu Yu-jie+4 more|arXiv (Cornell University)|Jan 12, 2026

Speech and dialogue systems被引用数 0

ひとこと要約

DarwinTODは、進化計算とLLM主導の戦略最適化を組み合わせ、 Evolvable Strategy Bankを維持してタスク特異的微調整なしに対話戦略を自律的に改善する lifelong self-evolving task-oriented dialog framework を提示します。

ABSTRACT

Traditional task-oriented dialog systems are unable to evolve from ongoing interactions or adapt to new domains after deployment, that is a critical limitation in real-world dynamic environments. Continual learning approaches depend on episodic retraining with human curated data, failing to achieve autonomy lifelong improvement. While evolutionary computation and LLM driven self improvement offer promising mechanisms for dialog optimization, they lack a unified framework for holistic, iterative strategy refinement. To bridge this gap, we propose DarwinTOD, a lifelong self evolving dialog framework that systematically integrates these two paradigms, enabling continuous strategy optimization from a zero-shot base without task specific fine-tuning. DarwinTOD maintains an Evolvable Strategy Bank and operates through a dual-loop process: online multi-agent dialog execution with peer critique, and offline structured evolutionary operations that refine the strategy bank using accumulated feedback. This closed-loop design enables autonomous continuous improvement without human intervention. Extensive experiments show that DarwinTOD surpasses previous state-of-the-art methods and exhibits continuous performance gains throughout evolution. Our work provides a novel framework for building dialog systems with lifelong self evolution capabilities.

研究の動機と目的

• ダイナミックな現実世界環境における TOD システムの自律的長期的改善の必要性を動機づける。
• 人間のデータ整備や微調整を伴わずに対話戦略を進化させるデュアルループの DarwinTOD フレームワークを提案する。
• Evolvable Strategy Bank（ESB）と時を超えた戦略最適化の構造化されたオフライン–オンライン進化を導入する。
• 標準的な TOD ベンチマークで最先端の性能を示し、進化を通じた持続的な向上を示す。

提案手法

• TOD を POMDPとして形式化し、戦略の進化をマルコフ連鎖として扱う。
• 競合する対話戦略を格納・管理する Evolvable Strategy Bank（ESB）を開発する。
• オンライン実行を四つのLLMエージェント（DST、DP、NLG、UserSim）とボルツマン型戦略取得で実装する。
• ダイアログ軌跡と批評を通じてオフラインのフィードバックを収集し、四つの進化的オペレーター（Genesis、Mutation、Consolidation、Pruning）を推進する。
• デュアルループプロセスを用いる：オンラインのマルチエージェント対話実行とピア批評、加えてオフラインの進化による ESB の更新。
• MultiWOZ 2.0/2.1/2.2 および SGD データセットで評価し、強力な TOD ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 TOD がタスク特異的微調整や人間がキュレーションしたデータなしで自律的長期自己進化を達成できるか。
• RQ2 Evolvable Strategy Bank とデュアルループのオンライン–オフラインフレームワークにより、複数ドメイン・複数ターンの TOD タスクで継続的な性能向上を得られるか。
• RQ3 進化的オペレーターとボルツマン選択が TOD 戦略の多様性維持と早期収束防止に及ぼす影響は何か。
• RQ4 進化した戦略はドメイン別に専門化し、現実的な展開での安全性・解釈性・ユーザー体験をどのように改善するか。

主な発見

モデル	MultiWOZ 2.0 Inform	MultiWOZ 2.0 Succ.	MultiWOZ 2.0 BLEU	MultiWOZ 2.0 Combine	MultiWOZ 2.1 Inform	MultiWOZ 2.1 Succ.	MultiWOZ 2.1 BLEU	MultiWOZ 2.1 Combine	MultiWOZ 2.2 Inform	MultiWOZ 2.2 Succ.	MultiWOZ 2.2 BLEU	MultiWOZ 2.2 Combine
DarwinTOD (Llama3-8B)	96.92	89.14	21.83	114.86	98.73	91.42	19.96	115.04	92.58	83.97	17.98	106.26
DarwinTOD (Qwen2.5-7B)	97.63	90.28	21.55	115.51	98.92	91.85	20.18	115.57	92.14	84.33	18.34	106.58
DarwinTOD (Qwen3-8B)	98.34	92.86	21.74	117.34	99.62	94.18	20.33	117.23	94.73	87.25	18.41	109.40
DarwinTOD (GPT-5.1)	99.10	96.20	22.94	120.59	99.40	96.50	22.19	120.14	96.48	90.12	21.98	115.28

• DarwinTOD は MultiWOZ 2.0/2.1/2.2 のベンチマークで最先端の結果を達成。
• 世代を重ねるごとに性能が単調増加し、長期的な進化が成功していることを示す。
• ピア批評を伴うオンライン推論とオフライン進化が、ベースラインやアブレーションを大きく上回る。
• Consolidation と Pruning により ESB をコンパクトに保ちつつ高性能戦略を維持。
• ボルツマン型選択は探索と活用のバランスでルーレット、ランダム、ε-グリーディより優れている。
• 人間の研究では、進化した戦略が安全で解釈可能であり、実際のユーザーの成功率を改善することが示唆される。