[论文解读] Domain State Tracking for a Simplified Dialogue System

Hyunmin Jeon, Gary Geunbae Lee|arXiv (Cornell University)|Mar 11, 2021

Topic Modeling参考文献 8被引用 14

一句话总结

本文提出 DoTS，一种任务导向对话系统，通过用仅包含当前话语、信念状态和领域状态的简化输入上下文替代完整的对话历史，实现高效建模。通过追踪领域状态以保持上下文连贯性，DoTS 在 MultiWOZ 2.0 和 2.1 上实现最先进性能，相较于先前模型成功率达到 1.24 个百分点的提升，信息率提高 1.09 个百分点，同时显著降低内存使用量和计算成本。

ABSTRACT

Task-oriented dialogue systems aim to help users achieve their goals in specific domains. Recent neural dialogue systems use the entire dialogue history for abundant contextual information accumulated over multiple conversational turns. However, the dialogue history becomes increasingly longer as the number of turns increases, thereby increasing memory usage and computational costs. In this paper, we present DoTS (Domain State Tracking for a Simplified Dialogue System), a task-oriented dialogue system that uses a simplified input context instead of the entire dialogue history. However, neglecting the dialogue history can result in a loss of contextual information from previous conversational turns. To address this issue, DoTS tracks the domain state in addition to the belief state and uses it for the input context. Using this simplified input, DoTS improves the inform rate and success rate by 1.09 points and 1.24 points, respectively, compared to the previous state-of-the-art model on MultiWOZ, which is a well-known benchmark.

研究动机与目标

• 为解决使用完整对话历史的神经对话系统所导致的高内存和计算成本问题。
• 在不存储长对话历史的前提下，保持多领域对话中的上下文完整性。
• 通过领域状态追踪，提升任务导向对话系统的效率与可扩展性。
• 在不依赖完整对话历史的前提下，实现在基准数据集上的最先进性能。
• 探索一种比使用广泛上下文的端到端模型更高效的替代方案。

提出的方法

• DoTS 使用共享的基于 BERT 的上下文编码器，应用于信念追踪、动作生成和响应生成。
• 信念追踪的输入上下文构建为 $ C^{B}_{t} = U_{t} \oplus D_{t-1} \oplus B_{t-1} $，结合当前话语、前一领域状态和信念状态。
• 领域状态追踪器基于上下文输出 $ O^{B}_{t} $ 对当前领域进行分类，从而实现跨领域对话流的追踪。
• 信念追踪器基于 $ O^{B}_{t} $ 更新信念状态 $ B_{t} $，以表示用户约束。
• 对于动作生成，输入上下文 $ C^{A}_{t} = U_{t} \oplus D_{t} \oplus B_{t} \oplus DB_{t} $ 包含当前领域、更新后的信念状态和数据库结果。
• 系统采用共享上下文编码器，并通过交叉熵损失和早停策略进行端到端训练。

实验结果

研究问题

• RQ1 任务导向对话系统是否能在仅使用简化输入上下文而非完整对话历史的情况下，仍保持高性能？
• RQ2 领域状态追踪在多领域对话中保持上下文信息方面有多高效？
• RQ3 在不牺牲性能的前提下，移除对话历史能在多大程度上降低内存和计算成本？
• RQ4 仅包含领域状态和信念状态的简化上下文是否能在标准基准上超越使用完整对话历史的模型？
• RQ5 在对话长度增加的情况下，该方法在内存和推理效率方面具有怎样的可扩展性？

主要发现

• 与先前最先进模型相比，DoTS 在 MultiWOZ 2.0 上实现了 1.24 个百分点的成功率提升和 1.09 个百分点的信息率提升。
• 在 MultiWOZ 2.1 上，DoTS 将成功率提高了 3.68 个百分点，信息率提升 1.65 个百分点，展现出在修正后基准上的强大泛化能力。
• DoTS 的输入上下文长度几乎不随对话长度变化，而完整对话历史则随轮次线性增长。
• DoTS 的内存使用在不同对话长度下保持稳定，而 BERT 和 GPT-2 等模型的内存消耗随输入变长而持续增加。
• 系统在计算开销极低的情况下仍保持高性能，证明领域状态追踪能有效保留关键上下文信息。
• 消融实验表明，即使没有完整历史，领域状态追踪对区分领域特异性语义（如‘cheap’指餐厅或酒店）也至关重要。