[论文解读] Building Markovian Generative Architectures over Pretrained LM Backbones for Efficient Task-Oriented Dialog Systems

Hong Liu, Yucheng Cai+3 more|arXiv (Cornell University)|Apr 13, 2022

Speech and dialogue systems被引用 5

一句话总结

本文提出基于预训练语言模型（PLM）主干网络（如GPT2和T5）的马尔可夫生成架构（MGA），以实现高效的任务导向对话系统。通过仅基于当前用户话语和前一话轮状态（马尔可夫状态）进行生成，MGA在保持性能的同时显著降低了内存和计算成本。在资源丰富与资源稀缺两种设置下，MGA在训练效率和性能方面均达到或超过非马尔可夫基线模型，尤其在数据稀缺条件下表现更优。

ABSTRACT

Recently, Transformer based pretrained language models (PLMs), such as GPT2 and T5, have been leveraged to build generative task-oriented dialog (TOD) systems. A drawback of existing PLM-based models is their non-Markov architectures across turns, i.e., the whole history is used as the conditioning input at each turn. First, this brings inefficiencies in memory and computation. Furthermore, using the whole history increases model complexity and may hurt the training efficiency, especially when facing small amounts of labeled training data (the low-resource setting). In this paper, motivated by the observation that dialog states could be viewed as Markov states, we propose to build Markovian Generative Architectures (MGA) over PLM backbones for efficient TOD systems. Experiments on MultiWOZ2.1 show that in the rich-resource setting, the proposed Markov models reduce memory and time costs without performance degradation; in the low-resource setting, the training efficiency of the Markov models is more significant.

研究动机与目标

• 解决基于PLM的任务导向对话系统中，非马尔可夫架构导致的内存、计算和训练效率低下问题。
• 探究将对话状态建模为马尔可夫状态是否能实现更高效且有效的生成，同时减少上下文依赖。
• 提升训练效率，特别是在标注数据有限的低资源设置下。
• 验证假设：作为历史信息紧凑摘要的对话状态，可作为充分的马尔可夫状态以实现有效的响应生成。
• 开发一种可扩展、高效的架构，在降低模型复杂度的同时保持强性能。

提出的方法

• 提出一种马尔可夫生成架构（MGA），其响应生成仅依赖于当前用户话语和前一话轮状态，而非完整对话历史。
• 采用预训练语言模型（GPT2和T5）作为主干网络，通过微调使其基于最小上下文（user_utterance, previous_dialog_state, previous_system_response）生成系统响应。
• 将对话状态定义为历史信息的紧凑累积摘要，与马尔可夫决策过程中的马尔可夫性质保持一致。
• 实现架构时，模型仅关注最近的对话状态和当前输入，从而减少对冗余历史回合的注意力计算。
• 在仅监督和半监督两种设置下进行训练，采用变分学习方法以利用未标注数据。
• 将MGA与非马尔可夫基线模型（如UBAR、MTTOD）进行对比，后者以完整历史作为条件输入。

实验结果

研究问题

• RQ1 在资源丰富的设置下，MGA模型能否实现与非马尔可夫PLM基线模型相当的性能？
• RQ2 在低资源设置下，MGA模型在训练效率方面是否优于非马尔可夫模型？
• RQ3 仅使用最新对话状态作为上下文，是否足以保留准确响应生成所需的信息？
• RQ4 MGA中的注意力模式与非马尔可夫模型有何不同？其注意力模式是否反映出更高效的的信息流动？
• RQ5 MGA能否在监督学习和半监督学习场景下均提升样本效率？

主要发现

• 在资源丰富的设置下，MGA-GPT2和MGA-T5在严格的显著性检验下，性能与SOTA非马尔可夫模型（UBAR和MTTOD）相当。
• 与非马尔可夫基线相比，MGA模型显著降低了内存和计算成本，且未造成性能下降。
• 在低资源设置下（10%和20%标注数据），无论在仅监督还是半监督训练任务中，MGA均持续优于非马尔可夫模型。
• 注意力可视化显示，MGA-GPT2在生成b₄时更关注最近的对话状态b₃，而非马尔可夫模型（如UBAR）则将注意力分散到所有先前的对话状态，包括冗余信息。
• MGA中的注意力模式表明，早期对话状态的信息可通过当前对话状态隐式捕捉，从而在实践中验证了马尔可夫假设的合理性。
• 在低资源场景下，训练效率的提升更为显著，证明了MGA在样本效率方面的优越性。