[论文解读] Attention over Parameters for Dialogue Systems

Andrea Madotto, Zhaojiang Lin+3 more|arXiv (Cornell University)|Jan 7, 2020

Topic Modeling参考文献 74被引用 25

一句话总结

本文提出参数注意力（Attention over Parameters, AoP），一种基于Transformer的架构，通过专用解码器参数独立参数化对话技能——如SQL查询、基于角色的回复生成以及特定任务的对话——并利用受领域和技能元数据启发的门控机制，动态将输入路由至相关专家。AoP在MultiWOZ、车载助手和Persona-Chat数据集的联合基准上实现了更快的推理速度、更高的可解释性以及具有竞争力的性能。

ABSTRACT

Dialogue systems require a great deal of different but complementary expertise to assist, inform, and entertain humans. For example, different domains (e.g., restaurant reservation, train ticket booking) of goal-oriented dialogue systems can be viewed as different skills, and so does ordinary chatting abilities of chit-chat dialogue systems. In this paper, we propose to learn a dialogue system that independently parameterizes different dialogue skills, and learns to select and combine each of them through Attention over Parameters (AoP). The experimental results show that this approach achieves competitive performance on a combined dataset of MultiWOZ, In-Car Assistant, and Persona-Chat. Finally, we demonstrate that each dialogue skill is effectively learned and can be combined with other skills to produce selective responses.

研究动机与目标

• 为解决联合训练端到端对话系统以同时处理目标导向任务和闲聊对话的挑战。
• 克服固定共享参数模型在响应生成中缺乏可解释性和可控性的局限。
• 在单一统一架构内实现对专业化对话技能（例如，数据库查询、基于角色的回复）的动态、选择性组合。
• 通过将输入路由至相关专家参数而非计算所有专家，提升推理效率和模型可解释性。
• 在结合MultiWOZ、车载助手和Persona-Chat数据集的新型统一基准上评估模型，以实现多领域、多技能对话。

提出的方法

• 模型采用标准的Transformer编码器-解码器架构，输入序列为$X = [D; M]$，其中$D$为对话历史，$M$为动态记忆（如SQL查询结果）。
• 每种对话技能（如SQL生成、角色回复、预订）均编码为一组独立的解码器参数（专家），模型通过门控函数学习将输入路由至合适的专家。
• 门控机制基于输入特征（如领域和技能类型）构建，实现对参数的注意力而非对表示的注意力。
• 通过直接选择并仅应用相关参数集，避免对所有专家进行完整前向传播，从而实现算法效率。
• 模型在MultiWOZ、车载助手和Persona-Chat的联合数据集上进行端到端训练，标签通过二值技能向量$V$指示所需技能。
• 该方法通过组合多个专家参数实现组合式生成，适用于复杂多技能响应（如同时生成SQL查询和后续基于角色的回复）。

实验结果

研究问题

• RQ1 单一端到端对话模型能否有效学习并组合多种不同的对话技能，如数据库查询和基于角色的生成？
• RQ2 基于输入条件的专家选择（通过参数注意力实现）是否相比标准专家混合（Mixture-of-Experts）提升了推理效率？
• RQ3 该模型能否在不进行任务特定架构修改的情况下，在任务导向与闲聊对话数据集的联合基准上实现具有竞争力的性能？
• RQ4 模型内部的专家参数在多大程度上可被解释为独立、专业化的技能，且可选择性地激活？
• RQ5 该模型能否泛化至零样本的技能组合，表明其在对话生成中具备组合泛化能力？

主要发现

• 所提出的参数注意力（AoP）模型在MultiWOZ、车载助手和Persona-Chat的联合基准上实现了具有竞争力的性能，证明了其对多样化对话技能的有效联合学习能力。
• AoP通过避免对所有专家进行完整计算，仅应用选定的专家参数，实现了算法效率，从而降低了推理成本。
• 模型中的每个专家对应一种特定的对话技能（如SQL生成、角色回复），其激活可通过基于输入的条件路由实现可解释性和可控性。
• 模型通过组合多个专家参数成功生成组合式响应，例如在单轮对话中同时执行数据库查询并生成后续基于角色的回复。
• 模型展现出强大的泛化能力和可解释性，各项技能均被有效学习，并可独立使用且与其他技能组合。
• 消融实验证实，基于领域和技能元数据的门控机制相比基线路由策略显著提升了性能。