[论文解读] End-to-end Task-oriented Dialogue: A Survey of Tasks, Methods, and Future Directions

Libo Qin, Wenbo Pan+6 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用 4

一句话总结

本文首次全面综述了端到端任务导向对话（EToD），提出了一套统一的模块化与全端到端方法分类体系，分析了关键趋势，并指出了未来研究前沿，如知识保留、推理可解释性、跨语言泛化以及多模态融合。此外，还提供了 etods.net 的公开资源中心，以加速社区研究进展。

ABSTRACT

End-to-end task-oriented dialogue (EToD) can directly generate responses in an end-to-end fashion without modular training, which attracts escalating popularity. The advancement of deep neural networks, especially the successful use of large pre-trained models, has further led to significant progress in EToD research in recent years. In this paper, we present a thorough review and provide a unified perspective to summarize existing approaches as well as recent trends to advance the development of EToD research. The contributions of this paper can be summarized: (1) extbf{ extit{First survey}}: to our knowledge, we take the first step to present a thorough survey of this research field; (2) extbf{ extit{New taxonomy}}: we first introduce a unified perspective for EToD, including (i) extit{Modularly EToD} and (ii) extit{Fully EToD}; (3) extbf{ extit{New Frontiers}}: we discuss some potential frontier areas as well as the corresponding challenges, hoping to spur breakthrough research in EToD field; (4) extbf{ extit{Abundant resources}}: we build a public website\footnote{We collect the related papers, baseline projects, and leaderboards for the community at \url{https://etods.net/}.}, where EToD researchers could directly access the recent progress. We hope this work can serve as a thorough reference for the EToD research community.

研究动机与目标

• 提供对端到端任务导向对话（EToD）研究的首次系统性、全面性综述，以解决该领域缺乏统一概览的问题。
• 提出一种新颖的分类体系，区分模块化EToD（具有中间监督）与全EToD（采用端到端序列到序列训练及可微知识库检索）。
• 识别并分析EToD中的新兴前沿，包括知识保留、推理可解释性、零样本跨语言迁移以及多模态融合。
• 在 etods.net 整合并整理一个公开的论文、基线模型与排行榜资源库，以支持EToD社区的持续研究与基准测试。
• 通过阐明知识对齐、模型可解释性与跨语言可扩展性方面的关键挑战与机遇，为未来研究提供指导。

提出的方法

• 提出将EToD系统统一分类为两类主要类别：(1) 模块化端到端，其中各组件联合训练但仍保留部分模块化结构；(2) 全端到端，其中所有组件通过单一序列到序列框架端到端训练。
• 基于其知识表示机制对现有EToD方法进行分类：知识库集成的实体三元组、行级与基于图的表示。
• 回顾在模块化EToD中使用大规模预训练模型（PLMs）以提升性能与泛化能力，尤其在少样本与零样本设置下。
• 分析在全EToD中用于知识库检索的可微注意力机制，强调其在实现端到端训练与梯度反向传播中的作用。
• 引入并讨论在知识库检索中使用思维链（chain-of-thought）推理以提升模型决策的可解释性与可追溯性。
• 提出需要统一的跨语言模型，以对齐多种语言中的异构对话组件（DST、DPL、NLG），尤其适用于零样本迁移。

实验结果

研究问题

• RQ1 如何系统性地对端到端任务导向对话系统进行分类，并统一于单一分类体系之下？
• RQ2 在性能、错误传播与知识集成方面，模块化与全端到端EToD架构之间的关键差异与权衡是什么？
• RQ3 在从模块化预训练对话模型迁移至端到端框架时，如何实现知识保留？
• RQ4 什么挑战阻碍了全EToD模型中知识库检索的可解释性？思维链推理如何提升透明度？
• RQ5 零样本跨语言EToD的主要障碍是什么，特别是在知识库对齐与统一多语言建模方面？

主要发现

• 本综述建立了EToD的新型分类体系，将系统划分为模块化与全端到端两类，为现有与未来方法的分类提供了基础框架。
• 采用预训练模型（PLMs）的模块化EToD方法在少样本与零样本设置下表现出色，归因于更强的泛化能力与迁移学习性能。
• 采用可微注意力机制进行知识库检索的全EToD模型取得了最先进性能，但其黑箱行为限制了可解释性与可信度。
• 在知识库检索中引入思维链推理是提升模型透明度的有前景方向，但设计有效的推理步骤仍具非平凡挑战。
• 跨语言EToD受限于知识库对齐问题及缺乏统一的多语言模型来处理异构对话组件，BiToD与GlobalWoZ正成为关键基准。
• 多模态EToD受限于小规模且多样性不足的基准数据集（如MMConv与SIMMC 2.0），凸显了构建更大、更丰富多模态数据集以推动研究进展的迫切需求。