[论文解读] A Modular Task-oriented Dialogue System Using a Neural Mixture-of-Experts

Jiahuan Pei, Pengjie Ren+1 more|arXiv (Cornell University)|Jul 10, 2019

Topic Modeling参考文献 30被引用 19

一句话总结

本文提出一种基于神经混合专家模型的模块化任务导向对话系统（MTDS），在token级别采用TokenMoE架构，由一个椅子对话代理（chair bot）动态选择专用的专家对话代理生成响应。该框架在MultiWOZ基准测试中，相较于单模块基线模型，将信息准确率提升8.1%，成功率提升0.8%，通过联合训练与全局-局部学习机制实现性能提升。

ABSTRACT

End-to-end Task-oriented Dialogue Systems (TDSs) have attracted a lot of attention for their superiority (e.g., in terms of global optimization) over pipeline modularized TDSs. Previous studies on end-to-end TDSs use a single-module model to generate responses for complex dialogue contexts. However, no model consistently outperforms the others in all cases. We propose a neural Modular Task-oriented Dialogue System(MTDS) framework, in which a few expert bots are combined to generate the response for a given dialogue context. MTDS consists of a chair bot and several expert bots. Each expert bot is specialized for a particular situation, e.g., one domain, one type of action of a system, etc. The chair bot coordinates multiple expert bots and adaptively selects an expert bot to generate the appropriate response. We further propose a Token-level Mixture-of-Expert (TokenMoE) model to implement MTDS, where the expert bots predict multiple tokens at each timestamp and the chair bot determines the final generated token by fully taking into consideration the outputs of all expert bots. Both the chair bot and the expert bots are jointly trained in an end-to-end fashion. To verify the effectiveness of TokenMoE, we carry out extensive experiments on a benchmark dataset. Compared with the baseline using a single-module model, our TokenMoE improves the performance by 8.1% of inform rate and 0.8% of success rate.

研究动机与目标

• 为解决单模块端到端任务导向对话系统在多样化对话上下文下泛化能力不足的问题。
• 通过引入具有专家对话代理的模块化框架，克服现有端到端模型中缺乏模型专业化与可追溯性的问题。
• 通过在token级别实现上下文感知的动态专家模型选择，提升响应生成质量。
• 开发一种全局-局部学习方案，通过联合训练平衡椅子对话代理的全局优化与专家对话代理的局部专业化。

提出的方法

• MTDS框架由一个椅子对话代理和多个针对特定意图、领域或系统动作专门化的专家对话代理组成。
• TokenMoE在每个时间步对所有专家对话代理生成多个token预测，并由椅子对话代理基于专家输出的加权融合选择最终输出。
• 采用全局-局部学习方案：局部专家损失促使每个专家专注于其分配的意图，而全局椅子损失则区分各专家的错误贡献。
• 椅子对话代理与专家对话代理通过结合全局响应生成交叉熵损失与各专家专业化损失，进行端到端的联合训练。
• 模型使用注意力机制与基于RNN的编码器处理对话历史，生成上下文感知的预测结果。
• 该框架在MultiWOZ基准上使用标准指标（包括Inform、Success、BLEU与Score）进行评估。

实验结果

研究问题

• RQ1 具有专家专业化的模块化对话系统是否能在复杂、多领域任务导向对话中超越单体统一模型？
• RQ2 在token级别实现动态、上下文感知的专家模型选择是否能提升响应质量与任务成功率？
• RQ3 结合全局损失与局部损失的联合训练方案是否能有效平衡专家专业化与整体系统性能？
• RQ4 与端到端单模块系统相比，所提出的MTDS框架在错误可追溯性与模型可解释性方面有何改进？

主要发现

• 与最佳单模块基线模型（S2SAttnLSTM/V2）相比，TokenMoE将信息准确率提升8.1%，成功率提升0.8%。
• 与标准S2SAttnLSTM基线相比，TokenMoE在信息准确率上提升3.5%，成功率提升4.2%。
• 全局-局部学习方案有效提升了专家专业化与整体系统优化，表现为各项指标得分的提升。
• 模块化设计提升了错误可追溯性，错误可归因于特定专家对话代理或椅子对话代理。
• 实证结果证实，没有任何一个模型在所有指标上始终优于其他模型，验证了混合专家方法的必要性。
• 该框架展现出强大的泛化能力与适应性，表明其可扩展至句级别或混合专家模型。